Публикация:
	719. Разработка методологии процессов управления жизненным циклом сложных технических объектов на основе экономико-математических методов / Орлов А.И., Фалько С.Г., Муравьева В.С., Куликова С.Ю. - Отчет по госбюджетной НИР, No. государственной регистрации ______________, инвентарный № отчета ___________ (рукопись). – М.: МГТУ им. Н.Э. Баумана, 2010. - 132 стр.

Министерство образования и науки Российской Федерации
Государственное образовательное учреждение
высшего профессионального образования
«Московский государственный технический университет
имени Н.Э. Баумана
(МГТУ им. Н.Э.Баумана)

УДК 330.115
№ госрегистрации__________
Инв. №____________________
УТВЕРЖДАЮ
Первый проректор – 
проректор по научной работе
МГТУ им. Н.Э.Баумана
д-р техн. наук, проф.

_____________ С.С. Гаврюшин
“___”______________201__г.

ОТЧЁТ
О НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ РАБОТЕ

РАЗРАБОТКА МЕТОДОЛОГИИ ПРОЦЕССОВ УПРАВЛЕНИЯ ЖИЗНЕННЫМ ЦИКЛОМ СЛОЖНЫХ ТЕХНИЧЕСКИХ ОБЪЕКТОВ НА ОСНОВЕ ЭКОНОМИКО-МАТЕМАТИЧЕСКИХ МЕТОДОВ 
(заключительный)

НИЧ 1.19.10

Руководитель НИР
д-р техн. наук, д-р экон. наук, проф.	       _____________  А.И.Орлов

Москва  2010 

 СПИСОК ИСПОЛНИТЕЛЕЙ

Руководитель НИР, докт. техн. наук, профессор 
А.И.Орлов
 (введение, разд.1, 2, 3, 4, заключение)

Исполнители:

Заведующий кафедрой, докт. экон. наук, профессор 
С.Г. Фалько
 (введение, разд. 1, заключение)

Старший преподаватель 
В.С. Муравьева 
(введение, разд.1, 4)

Старший преподаватель 
С.Ю. Куликова
(разд.1, заключение)

РЕФЕРАТ

Отчет 132 с., 106 источников 

МОДЕЛИРОВАНИЕ МЕНЕДЖМЕНТ, УПРАВЛЕНИЕ, ЭКОНОМИКА, НЕФОРМАЛЬНАЯ ИНФОРМАЦИОННАЯ ЭКОНОМИКА БУДУЩЕГО, ТЕОРИЯ ПРИНЯТИЯ РЕШЕНИЙ, ГРАФЫ, НЕПАРАМЕТРИЧЕСКИЕ СТАТИСТИЧЕСКИЕ МЕТОДЫ
 
	Глава 1 посвящена организационно-экономическому обеспечению решения задач управления развитием производственных систем. В главе 2 организационно-экономические механизмы управления производственно-хозяйственной деятельностью предлагается конструировать на основе неформальной информационной экономики будущего (НИЭБ), разрабатываемой как методологическая основа конкретных исследований в области организационно-экономического моделирования. В главе 3 рассмотрено использование графов при моделировании процессов управления организациями промышленности, в частности, при оптимизации на графах, в экспертных технологиях. Глава 4 посвящена разработке непараметрической методологии и современных непараметрических статистических методов. Для непараметрического метода наименьших квадратов с периодической составляющей найдены условия применимости. Разработаны методология и методы использовании непараметрических статистических критериев для оценки точности методов классификации. Предложены практические методики применения состоятельных критериев Смирнова и Лемана-Розенблатта. Результаты НИР предназначены для использования при разработке новых организационно-экономических методов и моделей управления в высокотехнологичных отраслях промышленности, при проведении дальнейших фундаментальных исследований, а также в учебном процессе.

СОДЕРЖАНИЕ
	с.
Введение	6

1 Организационно-экономическое обеспечение решения задач 
    управления развитием производственных  систем	11
1.1 Научный менеджмент родился в МГТУ им. Н.Э. Баумана	11
1.2 Основное ядро современной экономической теории – экономика 
      предприятия (инженерная экономика)	14
1.3 Три основных направления развития промышленного менеджмента	17
1.4 Чем специалисты по экономике предприятия и производственному 
      менеджменту могут помочь коллективам разработчиков новшеств? 	28

2 Подходы неформальной информационной экономики будущего 
   к управлению развитием производственных систем	34
2.1 Основные положения НИЭБ	35
2.2 Механизмы организации хозяйственной деятельности в НИЭБ	40
2.3 Предшественники и единомышленники	43
2.4 Об оценке эффективности научной деятельности	49
2.5 О развитии неформальной информационной экономики будущего	53

3 Графы при моделировании процессов управления промышленными 
    предприятиями	57
3.1 Оптимизация на графах	58
3.2 Графы, бинарные отношения, матрицы	59
3.3 Парные сравнения и бинарные отношения	62
3.4 Проверка согласованности мнений экспертов и классификация
      экспертных мнений	64
3.5 Практическое значение теории графов	66

4. Разработка непараметрических статистических методов	68
4.1 Математические методы исследования – инструменты аналитика	68
4.2 Непараметрический метод наименьших квадратов с периодической
      составляющей: условия применимости	71
4.3 Об использовании непараметрических статистических критериев 
      для оценки точности методов классификации	84
4.4 Состоятельные критерии проверки абсолютной однородности 
      независимых выборок	107
4.5 Отечественные достижения: теория устойчивости и нечисловая 
      статистика	118

Заключение	121

Список использованных источников	123

Введение

	В современных условиях совершенствование процессов управления жизненным циклом сложных технических объектов, высокотехнологичными предприятиями, выпускающими наукоемкую продукцию, организациями различных отраслей народного хозяйства возможно лишь при адекватном использовании различных форм и методов организационно-экономического обеспечения их деятельности. Общеизвестна роль экономико-математических и, в частности, статистических (эконометрических) методов в деле обеспечения эффективного функционирования предприятий и организаций. На кафедре ИБМ-2 активно ведутся  работы по развитию высоких статистических технологий. Ими занимается Институт высоких статистических технологий и эконометрики, организованный в 1989 г. как Всесоюзный центр статистических методов и информатики Центрального правления Всесоюзного экономического общества.
	Все большее распространение в России приобретает концепция контроллинга. Работы по развитию и внедрению методов контроллинга координирует Объединение Контроллеров Экономико-математические и эконометрические методы играют важную роль в контроллинге. В МГТУ им. Н.Э.Баумана в мае 2006 г. приказом ректора создана Лаборатория экономико-математических методов в контроллинге, работающая в соответствии с договором между МГТУ им. Н.Э. Баумана и ЦЭМИ РАН (http://www.ibm.bmstu.ru/nil/lab.html). В мае 2007 г. заключен договор о создании инновационного научно-образовательного центра Института проблем управления РАН и МГТУ им. Н.Э. Баумана.
	Лаборатория экономико-математических методов в контроллинге МГТУ им. Н.Э. Баумана ведет работы, в частности, по научному и методическому обеспечению организационно-экономического моделирования в промышленности, прежде всего моделирования в области организации, экономики, управления, проектирования, эффективности, устойчивости, логистики, инноватики и контроллинга интегрированных производственно-корпоративных структур. Рассматриваются различные задачи управления в промышленности (производственного менеджмента, т.е. менеджмента в техносфере). Для решения вытекающих из практических потребностей задач используются экономико-математические методы и модели, высокие статистические технологии, в том числе методы прикладной статистики, прежде всего статистические методы анализа и моделирования в экономике, а также методы и модели принятия управленческих решений.
	Только с начала 2010 г. по 09.11.2010 число визитов на наш сайт «Высокие статистические технологии» (http://orlovs.pp.ru) – 112794 (из 101 страны), скачано 3847 электронных копии учебника «Прикладная статистика», 3156 – учебника «Теория принятия решений», 2303 – учебника «Эконометрика», 4792 – учебного пособия «Менеджмент: организационно-экономическое моделирование», что говорит о востребованности работ нашего коллектива.
	Методология моделирования систем управления в рассматриваемой области основана на общих принципах экономической кибернетики, развитие нового научного инструментария предполагает разработку новых экономико-математических методов в рамках соответствующих моделей, адекватных социально-экономической реальности.
	Цель НИР - создание новых организационно-экономических методов совершенствования управления жизненным циклом высокотехнологичных промышленных предприятий. 
	Проведение НИР позволило получить следующие результаты:
	- разработать методологию организационно-экономического обеспечения решения задач управления производственными  системами;
	- развить методологию неформальной информационной экономики будущего применительно к управлению развитием производственных систем;
	- выявить методологическую роль теории графов при моделировании процессов управления промышленными предприятиями;
	- на основе непараметрического подхода разработать методологию и ряд конкретных статистических методов анализа данных.
	Обсудим полученные результаты в соответствии с главами отчета.
	В главе 1 показано, что научный менеджмент «родился» в Императорском Московском Техническом Училище (ныне – МГТУ им. Н.Э. Баумана) и что основное ядро современной экономической теории – это не макроэкономика, а экономика предприятия (инженерная экономика). Выделены три основных направления развития промышленного менеджмента - организация и управление жизненным циклом продукции, контроллинг и организационно-экономическое моделирование. Установлено, чем специалисты по экономике предприятия и производственному менеджменту могут помочь коллективам разработчиков новшеств.
	В главе 2 перспективные организационно-экономические механизмы управления производственно-хозяйственной деятельностью предлагается конструировать на основе неформальной информационной экономики будущего (НИЭБ), разрабатываемой как методологическая основа конкретных исследований в области организационно-экономического моделирования. Сформулированы основные положения НИЭБ. Проанализированы механизмы организации хозяйственной деятельности в НИЭБ. Дана информация  о предшественниках и единомышленниках. В качестве примера, демонстрирующего необходимость адекватного выбора управляющего фактора, рассмотрена проблема оценки эффективности научной деятельности и показана неадекватность попыток оценивать научную продуктивность коллективов и отдельных исследований только на основе публикаций в журналах. Дан прогноз развития НИЭБ как научно-практической и учебной дисциплины.
	В главе 3 рассмотрено использование различных видов графов при моделировании процессов управления организациями промышленности, в частности, при оптимизации на графах, в экспертных технологиях. Рассмотрены связи графов с другими видами объектов нечисловой природы – бинарными отношениями, матрицами из 0 и 1, результатами парных сравнений. Исправлена неточность при анализе парных сравнений. При обсуждении проверки согласованности мнений экспертов и классификации экспертных оценок показана роль люсианов. С прикладной точки зрения роль теории графов определяется тем, что она – важная составная часть математического инструментария контроллинга и менеджмента высоких технологий.
	Глава 4 посвящена различным вопросам разработки и применения непараметрической методологии и современных непараметрических статистических методов. Показана их ведущая роль среди математических методов исследования как инструментов аналитика. Для непараметрического метода наименьших квадратов с периодической составляющей найдены условия применимости. Разработаны методология и методы использовании непараметрических статистических критериев для оценки точности методов классификации. Предложены практические методики применения состоятельных критериев Смирнова и Лемана-Розенблатта проверки абсолютной однородности независимых выборок. В качестве важных достижений отечественной научной школы в области организационно-экономического моделирования выделены теория устойчивости и нечисловая статистика.
	В «Заключении» подведены итоги решения задач, поставленных в НИР, и намечены направления дальнейших исследований.
	Литературные ссылки на публикации авторов отчета приведены в «Списке использованных источников» в конце отчета, равно как и ссылки на использованные при подготовке отчета работы, всего 106 источников, в том числе 9 Интернет-источников. 
	В 2010 г. по заявленной тематике НИР выпущено 13 публикаций, в том числе: два учебника (Орлов А.И. Организационно-экономическое моделирование: теория принятия решений : учебник. Гриф УМО. — М. : КноРус, 2011. — 568 с., №59 в «Списке использованных источников»; Орлов А.И. Организационно-экономическое моделирование. Учебник. В 3 ч. Ч.2. Экспертные оценки. Гриф УМО. – М.: Изд-во МГТУ им. Н.Э, Баумана, 2010 - №61 там же), 5 статей в журналах списка ВАК («Заводская лаборатория. Диагностика материалов» (№№ 35, 56, 75 там же), «Управление большими системами» (№37) «ЭТАП: Экономическая Теория, Анализ, Практика» (№65)), 2 статьи в других научных журналах («Вестник Южно-Российского государственного технического университета (Новочеркасского политехнического института» (№50), «Статистические методы оценивания и проверки гипотез» (№46)), 4 тезисов докладов на международных и всероссийских конференциях (Четвертая международная конференция «Управление развитием крупномасштабных систем» (№№ 64, 69), Одиннадцатый всероссийский симпозиум «Стратегическое планирование и развитие предприятий» (№55), IV конференция «Современные проблемы формирования методного арсенала социолога» (№67)).
	Полученные в рамках выполнения НИР научные результаты регулярно докладывались на семинаре Лаборатории экономико-математических методов в контроллинге ( http://forum.orlovs.pp.ru/viewtopic.php?t=528 , http://ibm.bmstu.ru/nil/nsem.html ). Консультации по тематике НИР регулярно проводились на форуме http://forum.orlovs.pp.ru/ сайта «Высокие статистические технологии». 

1 Организационно-экономическое обеспечение решения задач управления развитием производственных систем 

	Инновационная деятельность и ее организационно-экономическое обеспечение, особенно в сфере наукоемкой продукции и высокотехнологичных производств, находятся в центре внимания коллектива научно-учебного комплекса (факультета) «Инженерный бизнес и менеджмент». Мы занимаемся проблемами производственного менеджмента, т.е. экономики и организации производства, управления развитием крупномасштабных систем, менеджментом высоких технологий на наукоемких предприятиях и их объединениях. Назрела необходимость в объединении усилий подобных коллективов. Первый шаг – обмен информацией. В главе 1 рассмотрен ряд направлений исследований нашего коллектива:
	1. Научный менеджмент родился в Императорском Московском Техническом Училище (ныне – МГТУ им. Н.Э. Баумана).
	2. Основное ядро современной экономической теории – это не макроэкономика, а экономика предприятия (инженерная экономика).
	3. Три основных направления развития промышленного менеджмента - организация и управление жизненным циклом продукции, контроллинг и организационно-экономическое моделирование.
	4. Чем специалисты по экономике предприятия и производственному менеджменту могут помочь коллективам разработчиков новшеств? 
	Первые два сюжета посвящены нашему положению среди иных научных и учебных коллективов, следующие два – конкретным работам. 

1.1 Научный менеджмент родился в МГТУ им. Н.Э. Баумана

	Несколько слов о «месте рождения» менеджмента. Хорошо известно, что «школа научного управления» основана на «русской системе обучения ремеслам», разработанной в Императорском Московском Техническом Училище (ныне МГТУ им. Н.Э. Баумана) во второй половине XIX века. А именно, в МГТУ им. Н.Э. Баумана (в то время – ИМТУ) был разработан способ обучения рациональным трудовым движениям, т.н. «русский метод обучения ремеслам», предвосхитивший научные результаты Ф.У. Тейлора и Ф.Б. Гильбрета. Метод стал широко известен во всем мире после демонстраций на Всемирных выставках в Вене (1873), где он был отмечен Большой золотой медалью, Филадельфии (1876), Париже (1878). Существо метода состояло в переходе от обучения изготовлению предметов к выделению технологических операций, на которые раскладывается любая работа, в отыскании наилучших сочетаний операций и переходов, в быстрейшем овладении найденными стандартными приемами возможно большим числом работников. 
	В 70-е годы XIX века получил международное признание и распространение в США, Германии, Австрии, Франции и Швеции «русский метод обучения ремеслам». Существо метода дополнялось четырьмя требованиями: минимальное время на изучение приемов работы; легкий контроль за последовательностью занятий; осмысленное систематическое усвоение приемов работы; легкий и удобный способ оценки успехов каждого воспитанника (в порядке возрастания сложности). Главное в системе – пособия, дополняющие устные инструкции. Основные разработчики русского метода обучения ремеслам - Д.К. Советкин, А.П. Платонов. 
	Метод был хорошо известен в США. Президент Массачусетского технологического института Дж. Рункль писал директору ИМТУ В.К. Делла-Восу: «За Россией признан полный успех в решении столь важной задачи технического образования… В Америке после этого никакая иная система не будет употребляться» [31]. Поэтому нет никаких сомнений в том, что «русский метод обучения ремеслам» был усвоен и широко применялся американскими и западноевропейскими инженерами и менеджерами конца XIX – начала ХХ веков.
	Легко видеть, что «русский метод обучения ремеслам» содержит в себе все основные идеи «научной школы менеджмента», которую обычно относят к началу ХХ в. На самом же деле место и время рождения современного менеджмента – Москва, 60-70-е годы XIX в. 
	Однако в литературе по менеджменту, внедренной в России конкурентами нашей страны, эта школа связывается исключительно с именами американцев Ф.У. Тейлора, Г. Форда, француза А. Файоля и др. Аналогична ситуация с исследованиями по трудовой мотивации, где приоритет также принадлежит отечественным ученым. Традиционной стала ситуация, когда новшества разрабатываются в нашей стране, усваиваются за рубежом, а затем как западные достижения пропагандируются в России. Одним из сравнительно недавних примеров являются стандарты ИСО серии 9000 по менеджменту качества, появившиеся в 1987 г., которые являются аналогом «комплексных систем управления качеством продукции», разработанных в нашей стране еще в 50-е годы.
	Итак, геополитические конкуренты нашей страны считают необходимым все достижения приписать своим соотечественникам. Этим достигается несколько целей. США представляется лидером, а Россия – догоняющей стороной, вопреки исторической правде. Повышается конкурентоспособность американских управленческих разработок - в ущерб российским. Внимание сосредотачивается на устаревших концепциях, а современные разработки, выполненные вне США, попросту не рассматриваются. Например, ни в одном учебнике не рассматривается как новый этап менеджмента теория активных систем, созданная «незримым коллективом» на базе Института проблем управления РАН, или отечественные разработки по перспективному научно-практическому направлению, известному как контроллинг (за исключением написанного нами учебника по менеджменту [41]).
	Мы не считаем возможным разделять менеджмент организации и управление государственными и муниципальными структурами. Согласно англо-русскому словарю, manage - заведовать, руководить, management - управление, manager – заведующий, правитель. В нашем учебнике по менеджменту [41] в качестве примеров эффективных (успешных) менеджеров рассматриваются полководцы (А.В. Суворов), руководители государства (И.В. Сталин). В любой крупномасштабной системе (на крупном предприятии, в интегрированной производственно-корпоративной структуре, в регионе, стране, на Земле в целом) задачи, модели, методы управления имеют гораздо больше общего, чем различного. Разделение в отечественной образовательной системе единой специальности «менеджмент» на две – «менеджмент организации» и «управление государственными и муниципальными структурами» вызвано конъюнктурными причинами и не должно мешать развитию, преподаванию и внедрению современных методов управления (менеджмента).

1.2 Основное ядро современной экономической теории – экономика предприятия (инженерная экономика)

	Итак, наука об управлении «родилась» около 140 лет назад в МГТУ им. Н.Э. Баумана (тогда ИМТУ). Две важные вехи дальнейшего развития таковы [88, 89]:
	- 1929 г. – создание самостоятельной кафедры «Экономика и организация производства» http://www.ibm.bmstu.ru/ibm2/ , 
	- 1993 г. – организация на ее основе факультета (ныне – научно- учебного комплекса) «Инженерный бизнес и менеджмент» МГТУ им. Н.Э. Баумана http://www.ibm.bmstu.ru/ .
	Сфера деятельности факультета – промышленный менеджмент и управление производством. В соответствии с потребностями практики в 2005 г. введена новая учебная специальность 220701 «Менеджмент высоких технологий», относящаяся к тогда же введенному направлению подготовки 220700 «Организация и управление наукоемкими производствами», предназначенному для обеспечения инженерами-менеджерами высокотехнологичных предприятий. 
	Специальность 220701 «Менеджмент высоких технологий» - техническая, а не экономическая (входит в сферу ответственности УМО вузов по университетскому политехническому образованию). Это не случайно. Это отражает ее противостояние отражающим иноземное влияние взглядам на учебные специальности по экономике и управлению, культивируемым, в частности, в ГУ-ВШЭ и ГУУ.
	Мы полагаем, что экономическую теорию надо избавить от явно выраженного крена в сторону хрематистики (по Аристотелю). Экономика – это наука о том, как производить, а не о том, как делить прибыль. Основное ядро современной экономической теории – это не макроэкономика, а экономика предприятия (инженерная экономика [25]). Термин «инженерная экономика» представляется нам более адекватным, чем «экономика предприятия», особенно при рассмотрении задач управления развитием крупномасштабных систем. Рассмотрение экономических вопросов должно быть подчинено инженерной деятельности, организации производства. А производство должно работать ради удовлетворения потребностей общества. Прибыль – один из возможных инструментов управления, а не цель работы предприятия, тем более системообразующих крупномасштабных систем. Целесообразность применения «рыночных методов» для управления такими системами сомнительна. 
	Повторим, преподавание менеджмента должно начинаться с «русской системы обучения ремеслам». А современный этап развития организационно-экономической науки – это менеджмент высоких технологий, организация и управление жизненным циклом продукции, контроллинг, организационно-экономическое моделирование, теория активных систем и другие направления работ, ведущихся в МГТУ им. Н.Э.Баумана, ИПУ РАН и иных научных центрах. 
	Распространенная в настоящее время «экономикс», посвященная пропаганде «рыночных отношений» как наиболее совершенных и преподаваемая в ряде вузов под неадекватным именем «экономическая теория», не соответствует потребностям организации производства и управления крупномасштабными системами. Она мешает принимать адекватные управленческие решения по управлению крупномасштабными системами, в том числе на государственном уровне.
	Третьему тысячелетию нужна новая организационно-экономическая теория. Именно так – менеджмент (или, если привычнее, теория управления людьми) и экономика вместе. Рабочее название этой теории (развиваемой прежде всего в Инновационном научно-образовательном центре МГТУ им. Н.Э. Баумана и ИПУ РАН) – неформальная информационная экономика будущего  http://www.ibm.bmstu.ru/nil/biblio.html#stats-10-nefor .
	Термин «неформальная» подчеркивает независимость экономических агентов, отсутствие формальной иерархической схемы, преобладание синергетической самоорганизации и роевых структур. Термин «информационная» отражает все возрастающую роль информационных технологий, в том числе сетевых, развитие которых позволяет предсказать революционный «переход количества в качество». Термин «экономика» означает, что изучается организационно-экономическая сторона деятельности общества. Термин «будущего» подчеркивает ориентацию исследований на прогнозирование и конструирование будущего развития хозяйственных систем, что предполагает преобразование ныне действующих хозяйственных систем и производственных отношений. Основные предшественники неформальной информационной экономики будущего – В.М. Глушков (ОГАС) и Ст. Бир (система Киберсин). Современные информационные технологии и разработанные в XXI веке методы организационно-экономического моделирования и теории принятия решений позволяют адекватно реализовать их идеи и пойти существенно дальше (подробнее эта тематика рассмотрена в гл.2).
 
1.3 Три основных направления развития промышленного менеджмента 

	В первом приближении, три основных направления развития промышленного менеджмента - организация и управление жизненным циклом продукции, контроллинг и организационно-экономическое моделирование. В работах научно-учебного комплекса «Инженерный бизнес и менеджмент» МГТУ им. Н.Э. Баумана выделим эти три направления (есть и другие) и дадим им краткую характеристику с позиций науковедения.
	3.1. Организация и управление жизненным циклом продукции. Современный период мирового производственного и экономического развития всей популяции хозяйствующих субъектов отличается значительным ужесточением конкурентной борьбы. Сложившиеся условия отрицательно сказываются на конкурентоспособности и устойчивости функционирования отечественных высокотехнологичных предприятий. Принципиальное значение приобретают в современных условиях не только вопросы освоения современных рыночно-ориентированных методов планирования (в том числе стратегического), управления, организации и контроля производственно-хозяйственной и экономической деятельности. Но и разработка новых логистикоориентированных концепций, подходов, методологий к стратегическому анализу и управлению организационно-экономической устойчивостью предприятий и их объединений (а точнее - интегрированных производственно-корпоративных структур) в условиях риска и неопределенности.
	В России начала XXI в. высокотехнологичный комплекс, предназначенный для выпуска наукоемкой продукции специального назначения, в котором сосредоточены почти все наукоемкие производства, находится в более тяжелом положении, чем иная промышленность. С одной стороны, предприятия этого комплекса должны быть готовы выполнить государственный заказ, держать для этого мощности и ресурсы в «горячем резерве». С другой стороны, реальные объемы государственного заказа резко сократились, финансирование поступает нерегулярно. Поэтому предприятия высокотехнологичного комплекса вынуждены работать на рынок. Но не могут это делать на равных с гражданской промышленностью, поскольку отягощены необходимостью быть готовыми к выполнению госзаказа. В терминах теории оптимизации: для предприятий высокотехнологичного комплекса к критерию максимизации прибыли добавляется ограничение по поддержанию «горячего резерва» для выполнения госзаказа. Поэтому для руководителей предприятий этого комплекса важна не столько сиюминутная прибыль, сколько обеспечение организационно-экономической устойчивости своих предприятий в условиях неопределенности и риска, порожденных меняющейся внешней средой. Один из оправдавших себя вариантов решения этой проблемы – создание интегрированных производственно-корпоративных структур.
	Современное неудовлетворительное состояние наукоемких промышленных предприятий высокотехнологичного комплекса России требует развития новых нетривиальных подходов к организации производства и всей их хозяйственной деятельности. Резкое снижение государственного заказа сочетается с постоянным усилением конкурентной борьбы с западными производителями специальной техники. 
	Для обеспечения соответствия отечественного высокотехнологичного комплекса современному уровню рыночных отношений требуется коренная реструктуризация, переориентация и наладка производственно-хозяйственного механизма и системы управления предприятиями на стратегическом уровне. Повышение степени риска заставляет принимать стратегические решения вне циклов планирования. Несомненны актуальность и практическая значимость развития новых методологий, концепций, теоретических основ и организационно-экономических методов стратегического управления деятельностью наукоемких предприятий высокотехнологичного комплекса в условиях быстро и непредсказуемо меняющейся инфраструктуры. 
	Научные исследования в области экономики, организации и управления промышленным производством ведутся в МГТУ им. Н.Э.Баумана уже полтора века. Однако развитие научно-технического прогресса ставит перед инженерами и экономистами новые задачи. Не только промышленность должна быть инновационной, но и образование. Как уже отмечалось, в 2005 г. введена новая инновационная учебная специальность 220701 «Менеджмент высоких технологий». Для новой специальности понадобились новые учебники, основанные на последних научно-технических разработках, подкрепленных практическим опытом. Но сначала эти разработки должны быть проанализированы, сведены в систему и представлены в виде единой теории, нацеленной на непосредственное применение при решении практических задач, стоящих перед современной промышленностью и другими крупномасштабными системами.
	Полученные результаты представлены в ряде научных монографий и учебников [7, 23, 82], отражающих подходы и результаты научной МГТУ им. Н.Э.Баумана по экономике и организации производства. Они посвящена проблемам организации, экономики, управления, проектирования, эффективности, устойчивости применительно к новой форме организации современного промышленного производства - интегрированным производственно-корпоративным структурам как одной из разновидностей крупномасштабных систем. Появление этой новой формы связано со столь сильным развитием горизонтальных и вертикальных связей между предприятиями, что при обсуждении вопросов организации производства, экономики и управления нельзя оставаться в рамках одного предприятия, необходимо рассматривать более сложные образования - интегрированные производственно-корпоративные структуры.  
	3.2. Контроллинг. В современных условиях эффективное функционирование инновационных предприятий и организаций возможно лишь при адекватном использовании различных форм и методов организационно-экономического обеспечения их деятельности. Все большее распространение приобретает концепция контроллинга. Согласно одному из определений контроллинг – это система информационно-аналитической поддержки процесса принятия решений при управлении организацией (предприятием, корпорацией, крупномасштабной системой).
	Работы по развитию и внедрению методов контроллинга в России координирует Объединение Контроллеров http://controlling.ru/ . В частности, с 2002 г. выходит ежеквартальный журнал «Контроллинг». В курс «Экономика предприятия» для студентов технических специальностей включен раздел по контроллингу, признанному необходимым не только для будущих экономистов и менеджеров, но и для инженеров различных специальностей.
	Разработки отечественной научной школы в области контроллинга отражены в ряде монографий и учебников [24, 87, 90].
	Общеизвестна роль экономико-математических и, в частности, статистических методов в деле обеспечения эффективного функционирования предприятий и организаций. В России развитием высоких статистических технологий занимается Российская ассоциация статистических методов. Экономико-математические и эконометрические методы играют важную роль в контроллинге. В МГТУ им. Н.Э.Баумана действует научно-исследовательская лаборатория экономико-математических методов в контроллинге http://www.ibm.bmstu.ru/nil/lab.html .
	3.3. Организационно-экономическое моделирование. Целью исследований в этой области является разработка концепции, методологии и теоретических основ создания, изучения и применения системы организационно-экономических методов, позволяющих повысить эффективность процессов управления промышленными предприятиями и их объединениями (корпорациями, холдингами, альянсами, интегрированными производственно-корпоративными структурами и т.п.).
	Для достижения этой цели необходимо было решить следующие задачи:
	Выработать концепцию и методологию разработки организационно-экономических методов и моделей процессов управления промышленными предприятиями. В частности, на основе классификации организационно-экономических методов и моделей управления производственными системами разработать систему инструментальных средств организационно-экономического моделирования, опирающуюся на современную методологию организационно-экономического моделирования.
	Другими словами, необходимо было развить методологию разработки организационно-экономических методов и моделей процессов управления промышленными предприятиями, а именно, проанализировать теоретические инструменты организационно-экономического моделирования, дать классификации организационно-экономических методов и моделей, разработать методологию организационно-экономического моделирования и теоретические основы системы инструментальных средств, включающих вероятностно-статистические модели и методы анализа данных, экспертные технологии разработки управленческих решений, нечеткие и интервальные модели, рассматриваемые с точки зрения их применения для повышения эффективности процессов управления промышленными предприятиями и их объединениями. В частности, следовало разработать концепцию нечисловых экономических величин и моделей, теорию построения рейтингов, вопросы использования индекса инфляции при анализе хозяйственной деятельности предприятия.
	Провести организационно-экономическое моделирование процессов стратегического управления промышленными предприятиями, в частности, разработать новые технологии социально-экономического прогнозирования и дать рекомендации по их реализации, проанализировать проблемы горизонта планирования, целеполагания и дать характеризацию моделей с дисконтированием, рассмотреть организационно-экономическое моделирование при проектировании интегрированных производственно-корпоративных структур.
	Дать системный анализ организационно-экономических моделей, предназначенных для использования в условиях неопределенности и риска, в частности, предложить классификации рисков, разработать методы системной оценки и анализа рисков, в том числе аддитивно-мультипликативную модель расчета рисков, проанализировать методологические проблемы построения моделей управления рисками.
	Разработать организационно-экономические методы и модели в функциональных областях деятельности промышленных предприятий и их объединений, в том числе при решении задач информационно-аналитической поддержки процессов принятия решений при управлении промышленными предприятиями, в инновационном, инвестиционном и экологическом менеджменте, при выявлении предпочтений потребителей промышленной продукции и при управления материальными ресурсами промышленного предприятия, развить новые статистические методы и модели управления качеством.
	Решению сформулированных задач посвящены научные монографии  и статьи, основанные на них учебники [68, 73, 76]. Исследования по организационно-экономическому моделированию ведет и координирует Лаборатория экономико-математических методов в контроллинге МГТУ им. Н.Э. Баумана. 
	Организационно-экономическое моделирование (ОЭМ) – научная, практическая и учебная дисциплина, посвященная разработке, изучению и применению математических и статистических методов и моделей в экономике и управлении народным хозяйством, прежде всего промышленными предприятиями и их объединениями. Термин «экономико-математические методы и модели» (ЭММиМ) имеет близкое содержание. Отличаются эти термины акцентами. ОЭМ нацелено на решение задач организации (управления, менеджмента) и экономики с помощью моделирования. В ЭММиМ сильна математическая составляющая, не связанная непосредственно с проблемами реального мира. 
	При стратегическом планировании на российских предприятиях, особенно на уровне интегрированных производственно-корпоративных структур крупномасштабных систем, должны использоваться современные методы организационно-экономического моделирования, основанные на интенсивном использовании математических и статистических методов. Рассмотрим основные подходы к преподаванию дисциплины «Организационно-экономическое моделирование» кафедрой «Экономика и организация производства» научно-учебного комплекса «Инженерный бизнес и менеджмент» (НУК ИБМ) МГТУ им. Н. Э. Баумана [78]. 
	Развитие научно-технического прогресса предъявляет все большие требования к современным инженерам, управленцам и экономистам. В специалистах такого уровня особо остро нуждаются высокотехнологичные предприятия оборонно-промышленного комплекса. Как уже отмечалось, для их подготовки в 2005 г. разработана новая специальность «Менеджмент высоких технологий» [23]. 
	Для повышения эффективности управления промышленными предприятиями и интегрированными производственно-корпоративными структурами необходимо применять современные организационно-экономические методы и модели. В соответствии с этим в программу обучения по специальности «Менеджмент высоких технологий» и была введена дисциплина ОЭМ. 
	Изучаемые методы признаны вооружить будущих специалистов, т.е. инженеров-менеджеров - выпускников нашего Университета, современным статистическим и математическим инструментарием, необходимым для будущих специалистов, с целью повышения конкурентоспособности на рынке труда. 
	В данной дисциплине изучаются методы разработки и принятия управленческих решений. Большая часть курса посвящена выборочным исследованиям. Рассматриваются примеры применения случайных выборок при оценивании функции спроса и изучении предложения потребителей, а также в связи с контролем качества продукции и экологической обстановки. Обсуждается применение статистики нечисловых данных в теории и практике экспертных оценок. Рассматриваются оптимальные методы в экономике и управлении на примере управления запасами. Для целей прогнозирования изучается линейный регрессионный анализ, который рассматривается в основном на примере восстановления линейной зависимости между двумя переменными. Ежегодно в качестве лабораторной работы студенты собирают информацию о ценах для последующего расчета индексов инфляции. Разработаны учебники и учебные пособия по организационно-экономическому моделированию (см. [23, 41, 68, 73, 76] и др.).
	В рамках НУК ИБМ ведутся теоретические исследования и прикладные разработки в области организационно-экономического моделирования, прежде всего в Лаборатории экономико-математических методов в контроллинге. Основные места публикаций – журналы «Контроллинг» и «Заводская лаборатория». 
	В качестве примера одного из направлений работ Лаборатории рассмотрим исследование проблемы устойчивости в моделях и методах разработки стратегии предприятия [75]. 
	Процессы стратегического планирования на промышленных предприятиях реализуются в реальных ситуациях с достаточно высоким уровнем неопределенности. Велика роль нечисловой информации как на «входе», так и на «выходе» процесса принятия управленческого решения. Неопределенность и нечисловая природа управленческой информации должны быть отражены при анализе устойчивости экономико-математических методов и моделей.
	Для обоснованного практического применения математические модели процессов управления промышленными предприятиями и основанных на них экономико-математических методов должна быть изучена их устойчивость по отношению к допустимым отклонениям исходных данных и предпосылок моделей. Возможные применения результатов подобного исследования:
	− заказчик научно-исследовательской работы получает представление о точности предлагаемого решения;
	− удается выбрать из многих моделей наиболее адекватную;
	− по известной точности определения отдельных параметров модели удается указать необходимую точность нахождения остальных параметров;
	− переход к случаю «общего положения» позволяет получать более сильные с математической точки зрения результаты.
	Следовательно, необходима разработка и развитие теоретических основ и методологии обоснования, выбора и создания новых математических методов и моделей, направленных на рационализацию и оптимизацию управления экономической составляющей производственно-хозяйственной деятельности промышленных предприятий на основе изучения их устойчивости по отношению к допустимым отклонениям исходных данных и предпосылок моделей.
	Реализованную нами исследовательскую программу целесообразно разбить на шесть направлений, посвященных решению следующих задач:
	1. Развить методологию разработки математических методов и моделей процессов управления промышленными предприятиями и их объединениями, интегрированными производственно-корпоративными структурами, крупномасштабными системами, разработать общий подход к изучению устойчивости (общую схему устойчивости) таких моделей и методов и выделить частные постановки проблем устойчивости, в том числе устойчивость к изменению данных, их объемов и распределений, по отношению к временным характеристикам. Один из подходов к построению устойчивых методов и моделей - моделирование с помощью нечисловых объектов.
	2. Разработать непараметрические (устойчивые к изменению распределения) статистические методы для решения конкретных задач управления промышленными предприятиями – для оценки характеристик, прогнозирования, сегментации рынка и др.
	3. Установить связи между различными видами объектов нечисловой природы, построить вероятностные модели их порождения. На основе расстояний (показателей различия, мер близости) и задач оптимизации развить статистическую теорию в пространствах общей природы, Разработать методы моделирования конкретных нечисловых объектов.
	4. Разработать асимптотическую статистику интервальных данных на основе понятий нотны и рационального объема выборки, развить интервальные аналоги основных областей прикладной статистики.
	5. На основе концепции устойчивости по отношению к временным характеристикам (моменту начала реализации проекта, горизонту планирования) провести экономико-математическое моделирование ряда процессов стратегического управления промышленными предприятиями: обосновать применение асимптотически оптимальных планов, дать характеризацию моделей с дисконтированием.
	6. Разработать устойчивые экономико-математические методы и модели процессов управления экономикой в функциональных областях производственно-хозяйственной деятельности промышленных предприятий, в частности, при использовании экспертных методов, в инновационном и инвестиционном менеджменте, при управлении качеством промышленной продукции, при выявлении предпочтений потребителей, при управления материальными ресурсами предприятия.
	Другое направление работ Лаборатории - прогнозирование как одна из функций управления промышленными предприятиями. 
	На современном этапе к системе управления промышленными предприятиями предъявляются всё новые требования. В частности, необходима разработка эффективных систем прогнозирования для нужд управления промышленными предприятиями.  
	Основные функции управления были сформулированы еще Анри Файолем: «Управлять –  значит прогнозировать и планировать, организовывать, руководить командой, координировать и контролировать» [41]. Результаты прогнозирования необходимы для планирования [41].
	Прогнозирование, как функция управления промышленными предприятиями, в настоящее время недостаточно используется. Есть ряд нерешенных проблем [29]. 
	1. Часто используются устаревшие методы, не соответствующие современным требованиям. 
	2. Прогнозируются лишь отдельные характеристики (показатели) промышленных предприятий. В то время как решение проблемы прогнозирования заключается в рассмотрении предприятия как единой системы. 
	3. Предприятие в процессе своей производственно-хозяйственной деятельности сталкивается с проблемой учета инфляции. Существуют два способа учета инфляции − обратиться к внешним источникам или рассчитать самостоятельно. Последнее предполагает разработку организационно-экономического моделирования инфляции. 
	Как правило, выделяют два вида прогнозирования – поисковое (эксплораторное, эксплоративное) и нормированное (нормативное). Основываясь на идеях метода ЖОК [73; 76, гл.6], вводим еще один − вариативный, отвечающий на вопрос: какие будут изменения при варьировании управляющими факторами. 
	В большинстве случаев распределение погрешностей измерений отличается от нормального [68]. Следовательно, необходимо разрабатывать методы, не требующие знания закона распределения наблюдаемой случайной величины, т.е. непараметрические. В рамках непараметрической вероятностно-статистической модели получено асимптотическое распределение точки пересечения, уровня качества и временного лага двух регрессионных линейных зависимостей. На основе метода линеаризации найдены асимптотические дисперсии и доверительные интервалы для рассматриваемых характеристик. 
	Внедрение методов прогнозирования целесообразно осуществлять в духе системы «Шесть сигм». Эта система может быть использована не только для повышения качества продукции и услуг. Она решает задачи совершенствования бизнеса, в том числе организации внедрения современных организационно-экономических методов и моделей.

1.4 Чем специалисты по экономике предприятия и производственному менеджменту могут помочь коллективам разработчиков новшеств?

	Траектория инновационного проекта имеет три характерные точки: заявка со стороны разработчиков новшества, принятие решения о финансировании проекта, окончание внедрения проекта. Обсудим переход от заявки к решению о финансировании. Второй переход принципиальных сложностей не вызывает, поскольку методы управления проектами хорошо разработаны. Предлагаем развернутую классификацию типовых этапов развития инновационного проекта.
	Начальный этап 1 инновационного проекта - формирование идеи, которая ляжет в его основу. Рождение идеи - это творческий процесс. Автором идеи является конкретное физическое лицо (или группа лиц). Юридической защиты авторство не имеет. Адресного финансирования формирование идеи обычно не предполагает. 
	Этап 2 «Оформление интеллектуальной собственности» состоит в формировании коллектива собственников инновационного проекта, их долевого или иного участия в расходах и доходах по мере движения по траектории инновационного проекта. В случае более одного собственника этап заканчивается подписанием договора, участниками которого могут быть как физические, так и юридические лица. По мере движения по траектории инновационного проекта могут быть подписаны новые договора по оформлению интеллектуальной собственности. 
	Этап 3 «Защита интеллектуальной собственности» состоит в подготовке и оформлении патентов и иных правовых документов, фиксирующих и защищающих права на интеллектуальную собственность, сопутствующую инновационному проекту в процессе движения по его траектории. Наличие патентов, несомненно, повышает рыночную стоимость инновационного проекта, поскольку демонстрирует положительные результаты экспертизы при выдаче патента. Однако получение патентов и иных правовых документов растянуто во времени.
	Этап 4 «НИР по тематике инновационного проекта». Часто (но не всегда) первоначальная идея нуждается в развитии. Иногда нужны фундаментальные исследования, чаще необходимы разработки, относящиеся к прикладной науке. Результаты этапа 4 отражаются в виде научных публикаций, отчетов, докладов на научно-технических конференциях, представлений на выставках, в Интернете. 
	Этап 5. Разработка «a-модели». Большое психологическое воздействие на потенциальных покупателей оказывает демонстрация действующего устройства. Поэтому выделяем этап 5, на котором осуществляет переход от «слов» к «железу». Основным итогом этапа 5, который во многих случаях естественным образом вытекает из этапа 4, является т.н. «a-модель» - устройство, посредством которого автор/разработчик подтверждает соответствие заявленным техническим решениям. Речь идет об опытном образце изделия, который демонстрирует возможности будущего серийного изделия. Естественно, он подвергается техническим испытаниям, и информация о достигнутых характеристиках доступна потенциальным покупателям. Достаточно часто этап 5 растянут во времени.
	Этап 6. Маркетинговые исследования. Судя по опыту МГТУ им. Н.Э. Баумана, в области высоких технологий коллективы разработчиков обычно сосредотачиваются на научно-технических проблемах новшеств, составляя календарные планы перехода к промышленному производству. Сроки и стоимость такого перехода коллективы разработчиков, как правило, приводят в своих заявках, адресованных потенциальным покупателям. Однако маркетинговая составляющая заявки обычно проработана плохо. 
	Необходимость маркетинговых исследований становится очевидной именно после создания опытного образца (этап 5), когда продемонстрирована возможность достижения научно-технической цели проекта. На предыдущих этапах обсуждения характеристик потенциальных потребителей также ведутся, но обычно на уровне кабинетных маркетинговых исследований с использованием экспертных оценок. После этапа 5 наряду с развертыванием кабинетных исследований потребителей и конкурентов переходят к полевым исследованиям.
	Этап 7. Оценка эффективности. Если маркетинговые исследования показывают целесообразность дальнейшей проработки заявки на коммерциализацию инновационного проекта, то следующим этапом является оценка эффективности при внедрении проекта. Желательна подготовка подробного или сокращенного бизнес-плана, включающего организационный план, производственный план, финансовый план и др. Должны быть оценены различные характеристики экономического эффекта от внедрения новшества, а также проанализированы другие виды эффектов. В бизнес-план включают результаты маркетинговых исследований, оценку и методы управления рисками при реализации проекта. Подготовкой бизнес-планов должны заниматься специалисты.
	Этап 8. Экспертиза. На всех этапах жизненного цикла инновационного проекта - формирование, маркетинговые исследования, оценка эффективности, принятие решения о реализации, внедрение, контроль после внедрения, оценка эффективности реализации проекта - используются разнообразные процедуры экспертного оценивания.
	Этап 9. Интернет-аукцион. В результате Интернет-аукциона может быть принято решение о реализации или о передаче прав на использование результатов, полученных в ходе выполнения инновационного проекта. Интернет-аукцион, как и экспертиза, может быть проведен практически на любой стадии жизненного цикла - от оформления прав на интеллектуальную собственность до внедрения результатов. К заказчикам и инвесторам целесообразно обращаться с бизнес-планом, используя современные информационные технологии проведения Интернет-аукционов. Подчеркнем ведущую роль «электронных» экономических связей субъектов инновационной деятельности, необходимость развития информационной культуры и цифровой культуры, роль мощного центрального игрока, обеспечивающего использование систем электронной коммерции и средств организационно-технологического обеспечения.
	Этап 10. Подготовка к внедрению - ОКР и модель b. Необходимый этап жизненного цикла инновационного проекта - опытно-конструкторские работы, позволяющие перейти от опытного образца к серийному производству. Этап завершается подготовкой т.н. «b-модели» - устройства, посредством которого автор/разработчик подтверждает технологическую воспроизводимость научно-технической идеи. Речь идет о прототипе будущего серийного изделия вместе с технологической документацией. Технологическую подготовку выпуска изделия целесообразно увязывать с возможностями завода-изготовителя, а потому проводить силами заказчика после проведения Интернет-аукциона и получения всей необходимой документации от коллектива разработчиков первоначальной идеи. При этом должна быть обеспечена возможность консультаций со стороны коллектива разработчиков первоначальной идеи. Возможны и иные варианты. Например, если коллектив разработчиков первоначальной идеи действует в составе научно-производственного объединения, то этап 9 может быть проведен силами «материнского» НПО.
	Этап 11. Внедрение и выход на рынок. Реализация проекта, например, начало серийного выпуска и продажи изделия, знаменует собой конец инновационной составляющей проекта и переход к типовой ситуации производства продукции в современных условиях. 
	Этап 12. Контроль после внедрения. Однако коллектив разработчиков должен продолжать осуществлять контроль и авторский надзор за выпуском изделия, адекватно реагируя на предложения изготовителей и рекламации потребителей. Возможность и необходимость авторского надзора должна быть закреплена в договорах, заключенных по итогам Интернет-аукциона. 
	Этап 13. Оценка эффективности реализации проекта. Очевидно, должны быть оценены краткосрочные и долгосрочные последствия реализации проекта - социальные, технологические, экологические, экономические, политические В частности, для инвесторов представляет интерес (дисконтированный) срок окупаемости. 
	Судя по опыту МГТУ им. Н.Э.Баумана, в области высоких технологий коллективы разработчиков обычно сосредотачиваются на научно-технических проблемах новшеств. Остаются неизученными предпочтения потребителей, сопоставление с разработками конкурентов является отрывочным, прогнозирование научно-технического прогресса и соответствующих изменений рынка не проводится. В результате отсутствуют как представление об объеме будущих продаж предлагаемого к реализации новшества, так и обоснование цены. Не анализируется структура потенциальных потребителей и функция спроса. Маркетинговые исследования не относятся к сфере деятельности коллективов разработчиков конкретных новшеств и должны проводиться профессионалами-маркетологами, естественно, в сотрудничестве со специалистами в конкретной научно-технической области.
	Если маркетинговые исследования показывают целесообразность дальнейшей проработки заявки, то следующим этапом является подготовка бизнес-плана, в котором, в частности, должен быть оценены различные характеристики общего экономического эффекта от внедрения новшества, а также проанализированы другие виды эффектов - социальные, экологические, технологические ... Практика показывает, что коллективы, занимающиеся научно-технической стороной заявки, не в состоянии самостоятельно разработать полноценный бизнес-план, поскольку такая деятельность не входит в круг их профессиональных занятий. 
	На всех этапах жизненного цикла инновационного проекта - формирование, маркетинговые исследования, оценка эффективности, принятие решения о реализации, внедрение, контроль после внедрения, оценка эффективности реализации проекта - используются разнообразные процедуры экспертного оценивания. Организовывать и проводить такие процедуры должны профессионалы в области теории и практики экспертных оценок.
	Итак, для успешного осуществления инновационной деятельности, кроме научно-технических коллективов, предлагающих заявки к рассмотрению, и инвесторов, обеспечивающих финансирование, необходима структура (организация), занимающаяся организационно-экономическим обеспечением. А именно, маркетинговыми исследованиями, подготовкой бизнес-планов, проведением экспертиз, использованием информационных технологий [38, 58, 63]. 
	Работы по организационно-экономическому моделированию инновационных процессов наш научный коллектив ведет в тесном взаимодействии с другими идейно близкими коллективами, с академическими институтами (Институт проблем управления, Центральный экономико-математический институт, Институт системного анализа, Вычислительный центр РАН и др.), вузами (МАИ, МГТУ «СТАНКИН», МГУ им. М.В. Ломоносова, МГИУ и др.), организациями и предприятиями промышленности.

2 Подходы неформальной информационной экономики будущего 
к управлению развитием производственных систем

	Эффективному решению современных проблем развития крупномасштабных систем мешают широко распространенные неадекватные представления о рациональном ведении хозяйства. По оценке П. Друкера, 1873 г. – «конец эры либерализма – конец целого столетия, на протяжении которого политическим кредо была политика невмешательства в экономику» [16, с.12]. Но и сейчас, 150 лет спустя, архаичное представление о рациональности рыночных отношений, о «невидимой руке рынка» распространено в нашей стране и мешает инновационной модернизации систем управления, в том числе управления развитием крупномасштабных систем. В частности, насущной необходимости воссоздания Госплана РФ мешают устаревшие представления о нецелесообразности вмешательства государства в экономику.
	По мнению Джозефа Стиглица, профессора Колумбийского университета, лауреата Нобелевской премии по экономике, «экономисты виноваты в кризисе, но есть шанс исправить дело». Говоря об экономических моделях, на которых базируется экономическая теория, Стиглиц констатирует что они «провалились полностью, и решения, на них основанные, оказались неверными». Очевидно, что Стиглиц разочаровался в фундаментальной экономической теории окончательно [84]. Важно, что он признал неадекватность буржуазной экономической теории Запада. Следствие – она должна быть заменена на новую теорию, соответствующую реалиям XXI в. Очевидно, эта новая  должна использоваться в науке, управлении и преподавании. 
	Мировой экономический кризис выявил необходимость немедленной разработки новых организационно-экономических механизмов стратегического планирования и развития крупномасштабных систем. Организация производства должна быть основана на адекватной экономической теории. Этой теорией не может быть преподаваемая во многих отечественных вузах «экономикс». Нужна другая теоретическая основа. По нашему мнению, следует исходить из новой базовой организационно-экономической теории, построенной на основе экономики предприятия (инженерной экономики), менеджмента, теории активных систем и принятия решений, современных информационных технологий. 
	Перспективные организационно-экономические механизмы управления производственно-хозяйственной деятельностью предлагаем конструировать на основе неформальной информационной экономики будущего (НИЭБ), разрабатываемой как методологическая основа конкретных исследований в области организационно-экономического моделирования. 
	Соображения, приведенные в главе 2, достаточно просты. Аналогичные мысли высказывали многие авторы. Однако до массового использования в управлении и преподавании они еще не дошли. Лица, принимающие решения, зачастую исходят из давно устаревших и методологически неверных представлений, ведущих к неверным управленческим решениям. Следовательно, необходимо менять содержание преподавания организационно-экономических дисциплин и модернизировать базовые положения, определяющие решения по управлению развитием крупномасштабных систем. Для обоснования этой революционной инновации необходима дискуссия по тематике настоящей главы.

2.1 Основные положения НИЭБ

	Базовые идеи неформальной информационной экономики будущего рассмотрены в [48, 49, 50, 65, 66].
	Поясним термины, составляющие название. Термин «неформальная» подчеркивает независимость экономических агентов, отсутствие формальной иерархической схемы, добровольность совместной деятельности, преобладание синергетической самоорганизации и роевых структур, отсутствие формального принуждения. Взаимная помощь рассматривается как двигатель прогресса [26]. Термин «информационная» отражает все возрастающую роль информационных технологий, в том числе сетевых, развитие которых позволяет предсказать революционный «переход количества в качество», в частности, переход от представительных органов к прямому действию, от государства как аппарата насилия к общественному договору. Термин «экономика» означает, что рассматривается производственная, организационно-экономическая сторона деятельности общества. Термин «будущего» подчеркивает ориентацию исследований на прогнозирование и конструирование будущего развития хозяйственных систем, без привязки к сложившимся к настоящему времени традициям хозяйствования. Таким образом, решаем первую задачу нормативного прогнозирования – формулируем цель развития. 
	Выделим основные положения этой новой организационно-экономической теории.
	При принятии решений необходимо учитывать не только экономические, но и технологические, социальные, экологические, политические факторы. Экономика в целом – служанка общества, выполняет его требования. Цели общества первичны, экономические механизмы вторичны, предназначены для реализации потребностей общества. Несмотря на очевидность сказанного, иногда пытаются экономические факторы считать основными, например, ставить во главу угла прибыль.
	Цели общества определяются потребностями общества. Исходим из того, что эти потребности могут быть сформулированы и согласованы обществом. Из множества индивидуальных и групповых предложений в результате обсуждений и компромиссов могут быть выявлены потребности общества в целом. Для малой группы (семьи, клана, общины) выявление общих потребностей миллиарды раз осуществлялось в истории человечества. По мере роста масштаба человеческой общности применялись различные варианты агрегирования потребностей – власть самодержца, представительная демократия, использование государственных органов (Госплана). Решение общегосударственных задач сочеталось с обеспечением прав и свобод отдельных граждан и групп. Однако до недавнего времени не было видно путей решения основной проблемы – учета и согласования мнений всех заинтересованных лиц из-за большого их числа. Развитие информационных технологий позволяет использовать необходимые для крупномасштабных систем вычислительные ресурсы. Теория и практика разработки и принятия управленческих решений, в частности, методы экспертных оценок, дают возможность разработать эффективные справедливые процедуры выявления общественных потребностей. Стихийное развитие идет именно в этом направлении, особенно если рассматривать его в масштабе столетий. Значит, нужны работы – к ним относится и настоящий доклад – нацеленные на прогнозирование развития методов принятия решений в крупномасштабных системах. О масштабе инновационных изменений говорит то, что в результате разработки методов выявления потребностей общества будет фактически устранено государство как посредник между физическими лицами и обществом – произойдет отмирание государства с заменой его на прямую демократию, используя терминологию классиков анархизма и коммунизма.
	При управлении хозяйственной системой (предприятием, корпорацией, государством) самое сложное – целеполагание. Какие потребности удовлетворять, другими словами, как сформулировать цель, поставить задачу оптимизации? В общей форме фантасты предложили различные варианты решений. Например, И.А. Ефремов [18] описал будущее общественное устройство, подобное структуре человеческого мозга: постоянно действующий форум со своими исследовательскими и координационно-ассоциативными центрами. Спроектировать подобную систему разработки и принятия управленческих решений – задача теории принятия решений, интенсивно использующей информационные технологии и информационно-коммуникационный менеджмент. Если цель поставлена, то для ее достижения можно и нужно разработать оптимальный план (в натуральных единицах измерения) и отследить его выполнение. 
	Когда потребности сформулированы, возникает проблема составления плана с целью их достижения. Методологически это более простая задача, чем выявление потребностей. Но и здесь до недавнего времени не хватало вычислительных мощностей. К настоящему времени составление оптимального плана производства и распределения продукции и услуг в масштабах Земли в целом – вполне решаемая задача, как показывает, в частности, опыт транснациональных компаний.
	На основе современных информационных технологий и методов разработки и принятия управленческих решений необходимо реализовать идеи В.М. Глушкова и Ст. Бира, создать современный вариант Госплана СССР. Как известно, в 60-х В.М. Глушков предложил создать Общегосударственную автоматизированную систему управления экономикой страны (ОГАС), а Ст. Бир разработал автоматизированную систему управления национализированными предприятиями Чили «Киберсин», именно эти разработки необходимо использовать для управления хозяйственной жизнью в современных условиях.
	Новым по сравнению с временами В.М. Глушкова и С. Бира является широкое распространение Интернет-технологий, позволяющее аппаратно реализовать право граждан на участие в принятии касающихся их решений. Открытый процесс создания реальных организационных модулей системы, привлечения участников, прокладывания горизонтальных связей, осуществления операций с ее помощью можно назвать Open P2P Society - «Открытое сетевое общество». Неформальность – важнейшая черта, обеспечивающая свободу передачи информации и участие всех заинтересованных лиц и организаций в выработке и реализации решений. Удастся реализовать основные идеи анархизма. 
	В перспективе путем предварительного обсуждения и планирования можно будет снять проблему нерационального производства товаров и услуг. Удастся снять противоречие между реализованными в прошлом вариантами организации хозяйственной жизни, не вполне заслуженно носящими ярлыки «план» и «рынок». Обсудим, что скрывается за ярлыками. Планирование – инструмент административно-командной системы, под «рынком» подразумевается анархия товаропроизводителей, каждый из которых самостоятельно решает, что, как и для кого производить. Другая составляющая рынка – потребительский рынок, на котором потребитель принимает решение и голосует кошельком за тот или иной товар. 
	Менеджмент организации исходит из необходимости плана. Разве необходим рынок внутри одного предприятия или корпорации? Разве рационально, когда каждый цех самостоятельно решает, что, как и для кого производить? Конкуренция между подразделениями – это исключительный частный случай, который может быть введен по специальному решению руководства, а не правило. Делегирование полномочий не отменяет централизацию принятия решений. Отметим, что в рамках плановой системы можно смоделировать любые рыночные отношения, а потому плановое хозяйство заведомо не менее эффективно, чем рыночное. Основная критика плановой системы базировалась на невозможности произвести необходимое количество вычислений, в результате плановые решения запаздывали и не могли охватить необходимую номенклатуру товаров  и услуг. Как показали В. Пол Кокшотт и Аллин Ф. Коттрелл [100], современные информационные технологии снимают эти проблемы. 
	В СССР действовала квазиплановая система хозяйствования, в которой допускались различные отклонения от идеи плановости. В частности, с плановым подходом несовместимо перевыполнение плана, планирование от достигнутого, использование понятия прибыли и т.п.
	Возможность самореализации личности, быстрота реализации творческих решений, обычно ассоциируемые с «рынком» (анархией товаропроизводителей), полностью реализуется в продвинутом варианте планового хозяйства, построенного на основе современной теории принятия решений, как и пожелания потребителей. 
	Итак, современные информационные технологии принятия управленческих решений позволяют избавиться от недостатков, но сохранить достоинства каждого из двух рассмотренных подходов к организации хозяйственной жизни. 
	Процессы стратегического планирования развития крупномасштабных систем реализуются в реальных ситуациях с достаточно высоким уровнем неопределенности. Велика роль нечисловой информации как на «входе», так и на «выходе» процесса принятия управленческого решения. Неопределенность и нечисловая природа управленческой информации должны быть отражены путем проведения анализа устойчивости экономико-математических методов и моделей, например, на основе разработанной нами общей схемы устойчивости [74]. Для обоснованного практического применения математические модели процессов управления крупномасштабными системами и основанных на них экономико-математических методов должна быть изучена их устойчивость по отношению к допустимым отклонениям исходных данных и предпосылок моделей. Следовательно, необходима разработка и развитие теоретических основ и методологии обоснования, выбора и создания новых математических методов и моделей, направленных на рационализацию и оптимизацию управления экономической составляющей производственно-хозяйственной деятельности крупномасштабных систем на основе изучения их устойчивости по отношению к допустимым отклонениям исходных данных и предпосылок моделей.

2.2 Механизмы организации хозяйственной деятельности в НИЭБ

	Механизмы организации производства, хозяйственной деятельности, экономической жизни могут быть разные. Использование таких изобретений человечества, как денежное обращение и конкуренция (а тем более фондовые рынки и опционы), совсем не обязательно. Робинзон и община «Таинственного острова» обходились без них. Литературные произведения Д. Дефо и Ж. Верна отражали реальность – небольшим общинам в хозяйственной деятельности деньги не нужны. Развитие информационных технологий сняло ограничение на размер хозяйства. Современный шотландский экономист П. Кокшотт [99] демонстрирует теоретическую возможность организации производства с целью удовлетворения потребностей в масштабах страны или человечества в целом. Особо отметим выполненный им тщательный анализ объемов вычислений, необходимых для этого. Как показал П. Кокшотт, для расчетов управленческих решений на базе моделей линейного программирования мощностей стандартных современных компьютеров вполне достаточно. Таким образом, применять инструменты управления хозяйственной деятельностью, основанные на деньгах, нет необходимости.
	Как писал основоположник научного менеджмента А. Файоль, «управлять –значит прогнозировать и планировать, организовывать, руководить командой, координировать и контролировать» [41] (ни слова про деньги, конкуренцию и коммерческую тайну – внутри предприятия они не обязательны, более того, неуместны). Метафорой предприятия является семья, поскольку исходной формой является семейное хозяйство. Разве нужны деньги, разве извлекают прибыль внутри одной семьи?
	Выделяют финансовый менеджмент, но последний составляет лишь небольшую часть менеджмента. В сталинском СССР финансовые инструменты управления использовались, но играли подчиненную роль. В «Экономических проблемах социализма в СССР» И.В. Сталин дал прогноз: «… когда вместо двух основных производственных секторов, государственного и колхозного, появится один всеобъемлющий производственный сектор с правом распоряжаться всей потребительской продукцией страны, товарное обращение с его «денежным хозяйством» исчезнет, как ненужный элемент народного хозяйства» [83]. 
	На уровне предприятия или корпорации никто не отрицает необходимость планирования и контроля. Взгляды основоположника А. Файоля вполне созвучны современной концепции контроллинга [41]. Однако на уровне государства многие сейчас считают эффективным «рынок», т.е. анархию производства, при которой решения отдельных субъектов экономической жизни не требуют согласования между собой. Причины приверженности к устаревшим механизмам хозяйствования достаточно очевидны – традиция и личные интересы. А между тем даже такой привычный инструмент управления, как деньги (финансы), не является необходимым [99, 83].
	Таким образом, денежное обращение должно уйти в прошлое. Ему, как и «рыночным отношениям», нет места в неформальной информационной экономике будущего. 
	Прежде всего это касается производных финансовых инструментов (деривативов), позволяющих участникам финансового рынка действовать по схеме «деньги – деньги», исключив из классической схемы «деньги – товар – деньги» центральный элемент. Для предотвращения экономических кризисов должен быть ликвидирован финансовый капитал, не обеспеченный материальными и интеллектуальными ценностями. В частности, это касается таких деривативов, как валютный своп, кредитный дефолтный своп, опцион, процентный своп, свопцион, соглашение о будущей процентной ставке, форвард, фьючерс, варрант, конвертируемые облигации, депозитарная расписка, кредитные производные и др.
	Следующий шаг – прекращение обращения (выпуска, котировок, продаж) акций, ликвидация ценных бумаг, в том числе государственных, закрытие валютных и товарных бирж. 
	На переходный период могут быть сохранены деньги как средство обмена и средство соизмерения ценностей. Они должны быть обеспечены не золотом или энергией, а рабочим временем (одна денежная единица соответствует одному часу неквалифицированного труда). 
	Необходимость ликвидации частной (но не личной) собственности и процента также вполне очевидна, поскольку управление организациями осуществляется согласно НИЭБ не личностью, а обществом.
	Проект ликвидации денежного обращения и частной собственности в прошлом выдвигался неоднократно, но рассматривался как утопия. Однако современные информационные технологии и теория принятия решений позволяют претворить этот проект в жизнь.

2.3 Предшественники и единомышленники

	Весьма актуальными для разработки НИЭБ являются взгляды первого известного в истории науки экономиста Аристотеля [1]. Термин «экономика» в переводе означает «домоводство», т.е. наука о разумном ведении домашнего хозяйства и земледелия. Аристотель ввел специальный термин «хрематистика», под которой он «понимал деятельность, направленную на извлечение прибыли, на накопление богатства, в отличие от экономики – как деятельности, направленной на приобретение благ для дома и государства. При этом первую форму организации хозяйства Аристотель считал противоестественной, а его особое негодование вызывал процент, который он расценивал как самую противоестественную форму дохода». Далее, «анализируя природу денег, Аристотель настаивал на том, что деньги являются результатом соглашения между людьми и «в нашей власти сделать их неупотребительными»… Если деньги относятся к «экономике» - то это знак стоимости, обусловленный законом или обычаем, а если к «хрематистике» - то они выступают как реальный представитель неистинного богатства». 
	Рассмотрим развитие представлений об экономике и хрематистике (в смысле Аристотеля). 
	В 1625 г. Френсис Бэкон предупреждал: «Противоестественно, чтобы деньги рождали деньги» [11, с.445]. Отметим: Ф. Бэкон против хрематистики, против процента.
	Робинзон Крузо (согласно роману Дефо), попав на необитаемый остров, был вынужден вести свое хозяйство. Он разрабатывал методы организации производства, вел управленческий учет, прогнозировал и планировал. Робинзон управлял своим предприятием без использования денег. 
	Жюль Верн в романе «Таинственный остров» рассказал о том, как успешно вели хозяйство инженер С. Смит и его товарищи. Они вышли на современный им научно-технический уровень, не обращаясь к хрематистике, поскольку само понятие прибыли было их коммуне чуждо.
	Генри Форд в книге «Моя жизнь. Мои достижения» писал: «… Задача предприятия – производить для потребления, а не для наживы или спекуляции… Работу на общую пользу ставь выше выгоды…» [91]. Выделим мысль Форда: цель производства – удовлетворение потребностей, а не получение прибыли. Вопреки этой основополагающей мысли, в Гражданском Кодексе РФ сказано, что цель фирмы – получение прибыли, т.е. составители этого сочинения от экономики перешли к хрематистике.
	Эффективные механизмы принятия и реализации плановых решений должны опираться на современные информационные технологии. Как известно, база разработки таких технологий – кибернетика (вспомним работы основоположников - Н. Винера, А.И. Берга, Н.Н. Моисеева, многих других). В послевоенные годы в нашей стране, как и во всем мире, разрабатывались различные типы автоматизированных систем управления. Наиболее грандиозный проект - в начале 60-х гг. академик В.М. Глушков предложил правительству СССР создать Общегосударственную автоматизированную систему управления экономикой страны (ОГАС), для чего, по его оценкам, требовалось как минимум 15-20 лет и 20 млрд. тогдашних рублей, однако выигрыш стоил того: ОГАС давала реальный шанс построить самую эффективную экономику в мире. В.М. Глушков писал:
	«Отныне только «безмашинных» усилий для управления мало. Первый информационный барьер или порог человечество смогло преодолеть потому, что изобрело товарно-денежные отношения и ступенчатую структуру управления. Электронно-вычислительная техника – вот современное изобретение, которое позволит перешагнуть через второй порог. Происходит исторический поворот по знаменитой спирали развития. Когда появится государственная автоматизированная система управления, мы будем легко охватывать единым взглядом всю экономику. На новом историческом этапе, с новой техникой, на новом возросшем уровне мы как бы «проплываем» над той точкой диалектической спирали, ниже которой, отделенный от нас тысячелетиями, остался лежать период, когда свое натуральное хозяйство человек без труда обозревал невооруженным глазом» [13]. 
	Идея ОГАС поначалу была встречена с полным пониманием, было получено принципиальное согласие председателя Совмина СССР А.Н. Косыгина, но этот опередивший свое время проект по ряду причин нетехнического характера, на которых не будем здесь останавливаться, реализован не был. 
	Своеобразная ОГАС, хотя и куда более скромная по масштабам, была введена на практике в другом уголке Земли – в Чили, во время президентства Сальвадора Альенде. В Чили был приглашен один из основоположников кибернетики Стаффорд Бир, который, разработал автоматизированную систему управления национализированными предприятиями Чили. Проект получил название «Киберсин». Он представлял собой автоматизированную систему сбора и обработки информации, которая состояла из четырех основных компонентов: «Кибернет» - сеть, осуществлявшаяся с помощью телексной связи, «Киберстрайд» - компьютерные программы, «Чико» - математическая модель чилийской экономики - и ситуационная комната – «мозговой центр», из которого велось управление. Последняя представляла собой зал с экранами, на которых отображалось в виде графиков и схем состояние экономики Чили. Отсюда можно было управлять производством всей страны в реальном времени (каждым конкретным предприятием), сразу же видеть результаты принятых решений и при необходимости вносить поправки. Кроме того, в каждом населенном пункте создавались «опросные пункты», где производился автоматизированный опрос населения по поводу принимаемых мер. Эти центры были включены в систему «Киберсин», и правительство быстро узнавало реакцию населения на очередное нововведение. Работы Ст. Бира в настоящее время активно обсуждаются специалистами. На русском языке выпущены переводы книг Ст. Бира «Кибернетика и управление производством»[3], «Мозг фирмы» [4]. Во второй из них рассказано о системе «Киберсин». Современные разработки на основе идей Ст. Бира связаны прежде всего с развитием корпоративных информационных систем на основе экономической кибернетики (см., например, [80]). Разработки Бира дают прообразы для следующего этапа развития информационных систем управления предприятиями и их объединениями – интегрированными производственно-корпоративными структурами, а также регионами – муниципальными образованиями, субъектами федерации, Россией, международными объединениями, Землей в целом.
	Многочисленные работы посвящены конкретным проблемам развития информационных технологий управления. Вопросам информационного обеспечения НИЭБ посвящены разработки коллектива молодых исследователей, выпустивших специальный номер журнала «Великое кольцо» (2007, №1, http://project.comex.ru/down/koltso_innov_otdel_skm.pdf). В названии журнала подчеркивается связь с идеями И. Ефремова [18]. В частности, И. Герасимов считает, что информационные технологии управления уже на сегодняшнем этапе позволяют разработать и внедрять интегрированные информационно-управляющие системы, предназначенные для координации людей, ресурсов, потребностей, предложений; объединения в рабочие группы по реализации экономических проектов; установления прямых связей между производителями и потребителями; оптимальной координации инициатив и проектов в масштабе всего общества. К конкретным функциям в рамках экономического блока можно отнести: учет и распределение ресурсов, обмен экономическим опытом и технологиями, выявление потребностей населения в товарах и услугах, формирование коллективов новых хозяйствующих субъектов, аккумулирование и распределение инвестиций, координация действий трудовых коллективов, публичная оценка потребителями работы хозяйствующих субъектов, ведение публичного диалога между потребителями и производителями товаров и услуг, публикация жалоб добросовестных хозяйствующих субъектов на деструктивные действия официальных и неофициальных паразитических структур, выработка схем оптимального ресурсообмена и планов экономического развития [98].
	Таким образом, основным направлением развития современной экономической и управленческой мысли являются информационные технологии управления, причем не только на уровне предприятия, но и на макроуровне. Их математической основой являются теория управления организационными системами, развиваемая неформальным научным коллективом вокруг Института проблем управления РАН [34]. В этот коллектив входит, в частности, Инновационный научно-образовательный центр МГТУ им. Н.Э. Баумана и ИПУ РАН, в составе которого действует Институт высоких статистических технологий и эконометрики. Основные результаты исследований по теории управления организационными системами представлены на портале http://www.mtas.ru/ . Выделяют такие разделы, как теория активных систем [10], теория принятия решений [59, 73], в том числе на основе экспертных технологий [61]. Интеллектуальные инструменты менеджмента – составные части НИЭБ - рассмотрены в [41]. 
	Новым по сравнению с временами В.М. Глушкова и С. Бира является широкое распространение Интернет-технологий, позволяющее аппаратно реализовать право граждан на участие в принятии касающихся их решений.
Не менее важным, чем участие в экономической жизни, представляется наделение рядовых граждан возможностями по непосредственному участию в политическом управлении обществом. Это, в частности, формирование общественных советов и рабочих групп по коллективному изучению и решению тех или иных социальных проблем, оценка качества работы должностных лиц, разработка, обсуждение и оценка нормативных документов, выдвижение собственных предложений и доведение их до управленческих структур, организация публичного диалога между административными органами и населением, обсуждение кандидатов на выборные должности, публикация сведений о характеризующих личность граждан совершенных ими социально значимых действиях, мобилизация населения на акции прямого гражданского волеизъявления… Качественно новым уровнем по сравнению с разрозненными сайтами фирм и административных учреждений, выполняющими лишь представительские и рекламные функции, должны стать интегрированные порталы целых секторов экономики и территорий. Эти порталы должны обладать выраженной обратной связью, формироваться по единым стандартам, подчиняться принципу «открытой архитектуры», быть соединенными между собой каналами регулярного обмена данными и находиться под контролем формируемых населением общественных советов [98].
	Приведем пример институализации неформальных акций с помощью информационных технологий. В США по инициативе ученых Массачусетского технологического института - разумеется, вопреки воле официальных властей - была разработана интерактивная сетевая база данных, позволяющая гражданам свободно добавлять и получать информацию, касающуюся должностных лиц и политиков. Задуманная как «асимметричный ответ» на создание системы тотальной слежки правительственных органов за простыми людьми, она получила название GIA - Government Information Awareness, или «Информационная осведомленность о правительстве». Таким образом, передовой мировой опыт также указывает верное направление развития. 
	Открытый процесс создания реальных организационных модулей системы, привлечения участников, прокладывания горизонтальных связей, осуществления операций с ее помощью, по мнению И. Герасимова, можно - как синтез англоязычных терминов Open Source, Open Architecture, Commons-based Peer Production, Peer-to-Peer и Open Society («Открытое общество») – назвать Open P2P Society. По-русски этот термин будет звучать как «Открытое сетевое общество», где топология связей будет не иерархической, а «от каждого к каждому», или «Peer to Peer» [98]. 
	Оставшиеся с прошлых веков привычные принципы управления как экономикой, так и государством входят во все большее противоречие с возможностями в сфере технологий управления, предоставляемые прогрессом информационных технологий. Падает роль представительной демократии, при которой подавляющее большинство граждан делегируют полномочия по принятию решений специалистам-депутатам. Возрастает роль неформальной, «роевой» деятельности, как противовеса иерархическим структурам. В частности, растет значение неформальных научных коллективов, как это еще более 40 лет назад предсказывал основоположник наукометрии В.В. Налимов [30].

2.4 Об оценке эффективности научной деятельности

	Согласно НИЭБ большое значение имеют методы оценивания эффективности той или иной деятельности. В области научно-исследовательских работ весьма актуальными являются результаты, полученные В.В. Налимовым [30]. Наука, несомненно, является крупномасштабной системой. Приведем некоторые соображения в рамках научной школы В.В. Налимова. 
	Каков путь конкретного научного результата? Обычно он становится достоянием широкой научной общественности при докладе на представительной конференции. Первая публикация – тезисы доклада. При дальнейшем развитии исследования доклад перерастает в статью, которая публикуется в тематическом сборнике или в журнале. Первый вариант для распространения идей предпочтительнее, поскольку тематический сборник фактически становится коллективной монографией, аккумулирующей в себе основные полученные результаты. Например, для статистики нечисловых данных таким аккумулятором стал сборник [2]. Только для давно развивающихся областей с большим числом исследователей и эффективной административной поддержкой публикации концентрируются в научных журналах, порожденных соответствующей частью научного сообщества. В нашей стране для прикладной статистики и других статистических методов эта стадия еще не наступила – нет соответствующих журналов, есть только раздел «Математические методы исследования» в журнале «Заводская лаборатория. Диагностика материалов», тематика которого, как видно из названия, перпендикулярна рассматриваемой научной области (хотя и имеет с ней непустое пересечение). С момента создания раздела (1962 г.) в этом журнале публикуются основные работы по прикладной статистике и другим статистическим методам, к настоящему времени издано около тысячи статей. Аналогична ситуация с научным направлением «Экспертные оценки».
	Следующий этап за публикацией в журнале или сборнике – выпуск монографии, подводящей итоги соответствующего этапа работ. Затем – создание учебника. Ясно, что на широкое использование может рассчитывать только то знание, которое включено в учебный процесс и вошло в сознание следующего поколения специалистов. 
	Отметим, что научные результаты используются при подготовке отчетов, диссертаций, выполнении прикладных работ, в том числе закрытых.
Заключительный этап – знание становится общеизвестным. Например, отмечают, что аксиоматическая теория вероятностей построена А.Н. Колмогоровым (сам А.Н. Колмогоров, встречая такую фразу, обычно указывал на нескольких исследователей – акад. С.Н. Бернштейна и др., - которые предложили несколько иные аксиоматические подходы; да и сам он разработал не один, а два аксиоматических подхода – на основе теории меры в 1930-е годы и на основе теории информации в 1960-е годы, но обычно вспоминают и используют только первый из них). С течением времени перестают даже упоминать авторов – пишут дифференциалы и интегралы, не ссылаясь на Ньютона и Лейбница.
	Проанализировав путь конкретного научного результата, видим что он состоит из этапа первоначального развития, завершающегося книжной публикацией, и этапа зрелости и широкого использования. На втором этапе обычно цитируют монографию, справочник, учебник. Очевидно, что с точки зрения общества целесообразно, чтобы первоначальный этап был возможно короче. 
	На основе сказанного выше весьма странными представляются попытки оценивать научную продуктивность коллективов и отдельных исследований только на основе публикаций в журналах. При этом полностью игнорируются материалы конференций, сборники статей, монографии, учебники, т.е. основная (по своему воздействию на развитие науки и техники) масса публикаций.
	Напомним, еще 40 лет назад В.В. Налимовым [30] было обращено внимание на опасность использования индекса цитирования (импакт-фактора) для оценки деятельности научных организаций и отдельных работников, особенно при принятии решений о финансировании.
	Надо поднять импакт-фактор, чтобы увеличить финансирование? Вот план мероприятий (по аналогии со сбором десятка-другого отзывов на диссертацию и автореферат, которые, как все знают, пишет сам соискатель): вместо одной полноценной статьи делим ее на последовательные кусочки, допускающие дальнейшее развитие, создаем команду «авторов» и рассылаем по журналам, затем перекрестно продолжаем «развитие» положений исходного набора статей. 
	Целесообразно в первых публикациях допустить неточности, ошибки, недоработки. Тогда появляется основания для публикации следующих статей, улучшающих предыдущие. Например, существование пятого момента случайной величины можно последовательно заменять на существование четвертого, третьего и второго. Или вместо условия дифференцируемости функции обойтись условием непрерывности. В результате получаем «облако» взаимно ссылающихся статей в связке из нескольких журналов [43]. Главное, не получить слишком рано окончательный результат и тем самым не прекратить поток новых статей. Конечно, надо исключить дословное повторение текстов, воспользовавшись опытом соискателей ученых степеней при подготовке отзывов на диссертации и авторефераты. Современная информационная техника облегчает задачу. Если лет двадцать назад надо было перепечатывать текст, вставлять формулы, то сейчас с помощью текстового редактора, Интернета и/или принтера технические сложности снимаются – статьи можно печь как блины.
	Развивая эти мысли, приходим к целесообразности организации «семей», члены которых будут ссылаться друг на друга (и не ссылаться на «чужих»). Можно привести примеры таких квазимафиозных структур.
	Почему пропагандисты индекса цитирования делают упор на журналы? Потому что таким путем оценку научной продуктивности можно проводить путем применения программного продукта. Достаточно составить базу данных из списков литературных ссылок в электронных версиях журналов и формально ее обработать.
	Ясно, что методологические ошибки – упор на индексы цитирования – приводят к неправильным управленческим решениям (ср. [43]). Не получают адекватной оценки новые научные направления, которые еще не обзавелись своими журналами. Вне оценивания оказываются наиболее ценные результаты, отраженные в монографиях и учебниках. Оценка по импакт-фактору объективно задерживает подготовку книжных изданий – ведь после выхода книги ссылаться будут на нее, а не на предыдущие статьи, а ссылки на книги не влияют на импакт-фактор исследователя. Ссылки на работы, в которых получены принципиально новые результаты, будут «тонуть» среди ссылок на массы эпигонов. На настоящий момент существенно, что в современных условиях отнюдь не все отечественные журналы имеют полноценные электронные версии, и не все включены в системы учета цитирования.
	Сказанное объясняет, почему Международный союз математиков предостерегает от неправильного использования статистики цитирований [101, 102].

2.5 О развитии неформальной информационной экономики будущего

	Неформальность – важнейшая черта будущих информационных систем принятия решений, разработанных на основе НИЭБ. Во-первых, свобода передачи информации – от каждого к каждому, без административных фильтров. Во-вторых, участие всех заинтересованных лиц и организаций в выработке и реализации решений (принцип прямой демократии). Конечно, для этого необходимы адекватные процедуры принятия решений. Разработать их должны специалисты по теории принятия решений. Необходима техническая база, позволяющая реализовать «Открытое сетевое общество». Наконец, необходима политическая воля для ликвидации административных препятствий на пути внедрения достижений НИЭБ. Рассматриваемые нами идеи совершенствования управления обществом и хозяйством на основе современных информационных технологий достаточно широко обсуждаются в литературе, в том числе в популярной (см., например, [8, 19]). Интересным примером эффективности неформальных институтов в современной экономике России является провал на рубеже тысячелетий внедрения прогрессивной шкалы налогообложения доходов физических лиц в результате массового отказа граждан от подачи налоговых деклараций.
	Подведем итоги. Суть дела проста. Если цель поставлена, то для ее достижения можно и нужно разработать оптимальный план (в натуральных единицах измерения) и отследить его выполнение. Теоретические разработки и практические методы многообразны. Например, на уровне государства в ЦЭМИ РАН была разработана Система оптимального функционирования экономики (СОФЭ). 
	На уровне предприятия или корпорации никто не отрицает необходимость планирования и контроля. Взгляды основоположника А. Файоля вполне созвучны современной концепции контроллинга [41]. Однако на уровне государства многие сейчас считают эффективным «рынок», т.е. анархию производства, при которой решения отдельных субъектов экономической жизни не требуют согласования между собой. 
	Итак, имеем противоречие между «планом» и «рынком». Менеджмент организации исходит из необходимости плана. Казалось бы, всю страну (в перспективе – всю планету) можно рассматривать как одно большое хозяйство, а потому планировать и контролировать глобальное развитие. Почему же говорят об эффективности рынка?
	П.Ф. Друкер подчеркивал, что эффективное управление предприятием невозможно при использовании лишь идеи о максимальной прибыли [16]. Мы развиваем эту идею, обращая внимание на взаимодействие крупной промышленной корпорации с окружающей природной и социальной средой [79].
	На наш взгляд, есть два основания для парадоксального утверждения о превосходстве рынка над планом.
	Первое – трудности целеполагания. Механизмы планирования и контроля запускаются, когда сформулирована цель. Для организации (предприятия, корпорации) цель определяет небольшая группа руководителей (например, Совет директоров). Для государства цель иногда бывает четко заданной, например, в военной обстановке. Хорошо известно, что в случае войны все государства мобилизуют ресурсы для победы с помощью плановых и контрольных управленческих структур (т.н. «мобилизационная экономика»). 
	А как быть в мирное время? Реализованы два крайних вида решений. Либо цель страны определяет сравнительно узкая руководящая группа. Либо реализуется основной принцип рыночной анархии производства – каждый товаропроизводитель делает что и как хочет.
	Почему не реализованы другие более рациональные принципы принятия коллективных решений? Потому что для этого не было и пока нет доступных дешевых технологий. Действительно, даже голосование лишь по одному достаточно простому вопросу – выбору президента страны – требует затрат заметной доли национального дохода. 
	Здесь мы переходим ко второму основанию – недостаточной отработанности механизмов принятия и реализации плановых решений. Достаточно вспомнить отсутствие гибкого реагирования на изменяющиеся условия и предпочтения потребителей, методы «планирования от достигнутого» и борьбу за «перевыполнение плана», чтобы констатировать, что система управления хозяйством в СССР была далека от идеала плановой. (В плановой системе не может приветствоваться перевыполнение плана. Отклонение от заданного значения как в сторону уменьшения, так и в сторону увеличения – это невыполнение плана, такие отклонения должны минимизироваться.) Причина несоблюдения системой управления народным хозяйством в СССР принципа плановости – опять в отсутствии доступных дешевых технологий принятия коллективных решений.
	Несколько слов о проблемах преподавания экономических дисциплин и менеджмента. В современных условиях в основном экономике посвящены такие научно-образовательные дисциплины, как «Экономика предприятия» и «Организация производства», а в основном хрематистике – «Экономическая теория». На основе своего опыта преподавания этих дисциплин констатирую, что «Экономическая теория» почти не нужна для рассмотрения проблем управления реальным предприятием. Это значит, что хрематистику можно практически безболезненно исключить из блока экономических дисциплин. Курс «Экономическая теория» вместо устаревшей «экономикс» должен быть посвящен НИЭБ.

3 Графы при моделировании процессов управления
промышленными предприятиями

	В главе 3 рассмотрено использование различных видов графов при моделировании процессов управления организациями промышленности, в частности, при оптимизации на графах, в экспертных технологиях. Рассмотрены связи графов с другими видами объектов нечисловой природы – бинарными отношениями, матрицами из 0 и 1, результатами парных сравнений. Исправлена наша неточность при анализе парных сравнений. При обсуждении проверки согласованности мнений экспертов и классификации экспертных оценок показана роль люсианов. С прикладной точки зрения роль теории графов определяется тем, что она – важная составная часть математического инструментария контроллинга и менеджмента высоких технологий.
	Понятия теории графов применяются при моделировании различных процессов управления. Распространен термин сетевые модели управления, поскольку «сеть» и «граф» в теории моделирования практически синонимы. В настоящей статье в соответствии с основными интересами нашего научного коллектива сосредоточимся на процессах управления промышленными предприятиями. Одна из целей работы – выявить, с какими понятиями и результатами теории графов необходимо знакомить студентов, обучающихся по специальности «менеджмент высоких технологий».
	При анализе прикладных задач разработки и принятия управленческих решений [73] возникает необходимость во введении нескольких типов графов: 
	– неориентированных (выделено множество вершин, некоторые пары вершин соединены ребрами), 
	– ориентированных (ребра имеют начало и конец и называются дугами);
	– взвешенных ориентированных (дугам поставлены в соответствие положительные числа, называемые весами).
	Отметим, что хотя реально третий тип графов используется, как самостоятельная сущность в теории графов обычно не выделяется. Можно было бы рассмотреть и четвертый тип – взвешенные неориентированные графы, однако польза для приложений таких математических объектов автору статьи не ясна, поэтому рассматривать их не будем. 

3.1 Оптимизация на графах

	При моделировании процессов управления промышленными предприятиями широко используют взвешенные ориентированные графы. Приведем примеры [73].
	Начнем с задачи коммивояжера: необходимо за минимальное время обойти все вершины и вернуться в исходную точку. Название задачи обманчиво. Она может быть проинтерпретирована как задача выбора маршрутов ремонтника при проверке работы ряда технических устройств, охранника – при контроле безопасности помещений, транспортного средства – при доставке грузов по нескольким адресам. 
	В задаче о максимальном потоке пропускная способность транспортной сети определяется взвешенным ориентированным графом. Эта задача, как и задача коммивояжера, решается с помощью специальных алгоритмов. 
	Транспортная задача состоит в нахождении взвешенного ориентированного графа, задающего маршруты и объемы перевозок из исходных складов потребителям. С математической точки зрения она является задачей линейного программирования. 
	Организационная структура предприятия описывается взвешенным ориентированным графом (деревом), в котором начала и концы дуг соответствуют подчиненности лиц и подразделений, а веса – интенсивности взаимодействия. Совершенствование организационной структуры обычно осуществляют неформально, хотя уже есть и математические подходы [15].
	При выявлении неформальной структуры малой группы также используют взвешенные ориентированные графы, хотя для интерпретации обычно избавляются от весов, сравнивая их с пороговым значением и оставляя ребро (дугу), если вес больше или равен порога, отбрасывая в противном случае [23].
	При проектировании корпоративных информационных систем, например, документооборота, незаменимы ориентированные графы, а при моделировании трафика – взвешенные ориентированные графы [23]. 
	По сравнению с известной работой [9] мы подчеркиваем, что при моделировании часто используются именно взвешенные ориентированные графы, а не другие типы графов. 

3.2 Графы, бинарные отношения, матрицы

	При разработке и принятии управленческих решений активно используются технологии экспертных оценок [73]. С целью моделирования поведения экспертов рассмотрим три ряда понятий: графы ‑ бинарные отношения ‑ матрицы.
	Бинарные отношения на конечном множестве – это подмножества декартова квадрата этого множества. Неориентированный граф можно описать бинарным отношением на множестве его вершин следующим образом: пара вершин входит в бинарное отношение тогда и только тогда, когда эти вершины соединены ребром. Та же пара вершин, упорядоченная противоположным образом, также входит в рассматриваемое бинарное отношение. Для описания ориентированного графа надо использовать упорядоченные пары вершин: первая соответствует началу дуги, вторая – ее концу. Взвешенные ориентированные графы соответствуют метризованным бинарным отношениям, в которых каждая пара вершин, входящих в отношение, снабжена числом (весом) [27].
	Бинарные отношения находятся во взаимно-однозначном соответствии с матрицами из 0 и 1. Это соответствие строится на основе нумерации элементов конечного множества. Упорядочим каким-либо образом то множество, на котором определено бинарное отношение: {a(1), a(2), …, a(k)}. Бинарному отношению поставим в соответствие матрицу ||b(i, j)|| из 0 и 1 порядка k следующим образом: b(i, j) = 1, если пара (a(i), a(j)) входит в отношение, и b(i, j) = 0 в противном случае. Метризованному отношению естественно поставить в соответствие матрицу, в которой для входящей в отношение пары (a(i), a(j)) элемент матрицы b(i, j) равен тому числу, которым снабжена эта пара, и b(i, j) = 0 для пар, которые не входят в отношение.
	Таким образом, неориентированные и ориентированные графы, бинарные отношения и матрицы из 0 и 1 находятся во взаимно-однозначном соответствии, равно как взвешенные ориентированные графы, метризованные отношения и матрицы описанного выше специального вида. Вести рассуждения можно на любом из трех языков – теории графов, бинарных отношений, матриц из 0 и 1. Например, ставить прикладные задачи естественно на языке графов или бинарных отношений, а разрабатывать алгоритмы и проводить расчеты – на языке матриц. 
	Описанная выше общая схема взаимно-однозначных соответствий развивает ту часть статистики нечисловых данных [60], в которой устанавливаются связи между различными видами объектов нечисловой природы. В многообразие объектов нечисловой природы введены графы. 
	Как любая общая схема, в некоторых конкретных случаях она нуждается в уточнениях. Как быть, если в графе некоторые пары вершин соединены двумя или более ребрами или дугами? Для описания такого графа в терминах бинарных отношений придется ввести метризованное бинарное отношение специального вида, в котором веса – натуральные числа.
	В качестве примера рассмотрим неориентированный граф, в котором каждые две вершины могут соединяться не более чем одним ребром. Он описывается матрицей из 0 и 1, симметричной относительно главной диагонали. На главной диагонали стоит 1, если соответствующая вершина соединена ребром сама с собой, и 0 в противном случае. Неориентированные графы можно сопоставить с толерантностями – рефлексивными симметричными бинарными отношениями, которым соответствуют симметричные относительно главной диагонали матрицы из 0 и 1, на главной диагонали которых стоят 1.
	Пользу языка теории графов при анализе бинарных отношений можно продемонстрировать на примере алгоритма согласования кластеризованных ранжировок [14], в котором строится (неориентированный) граф противоречий, а затем в нем выделяются связные компоненты, упорядочение которых – результат работы алгоритма. Выделение связных компонент наиболее естественно проводится на языке графов. 
	В различных пространствах бинарных отношений можно ввести геометрическую структуру [60], в частности, выделить для каждого элемента совокупность ближайших соседей. Например, для упорядочения ближайшие соседи – те, которые отличаются от рассматриваемого одной инверсией. Введем граф ближайших соседей, в котором вершинами являются элементы рассматриваемого пространства бинарных отношений, а ребра соединяют ближайших соседей. Такой граф позволяет строить итеративные алгоритмы оптимизации, в которых одна итерация состоит в просчитывании значений оптимизируемого функционала для ближайших соседей бинарного отношения и переход к одному из ближайших соседей.
	В частности, такой подход позволил В.Н. Жихареву построить новый алгоритм нахождения медианы Кемени в пространстве ранжировок (упорядочений), использованный для изучения ее свойств (результаты включены в [60]). Этот алгоритм отличается от ранее предложенного Б.Г. Литваком [27]. Отметим, что задача нахождения медианы Кемени имеет разную сложность в зависимости от того, по какому множеству происходит оптимизация. Минимум элементарно находится (по правилу большинства), если минимизацию проводим по множеству всех бинарных отношений [60]. Алгоритмы сложны, если минимизацию проводим по множеству всех упорядочений (алгоритмы Б.Г. Литвака и В.Н. Жихарева), как это было предложено в классической книге Дж. Кемени и Дж. Снелла [22]. 

3.3 Парные сравнения и бинарные отношения

	Матрицами из 0 и 1 описываются результаты парных сравнений. Сопоставим их с бинарными отношениями и исправим неточность изложения, допущенную в [60]. 
	Парные сравнения применяют в двух разных формах. 
	Первая относится к признаку, измеренному в шкале наименований. Результат парного сравнения – значения признака для двух объектов совпадают (код 0) или не совпадают (код 1).
	Вторая относится к признаку, измеренному в порядковой шкале. Результат парного сравнения – значение признака для первого объекта больше, чем для второго (код 0) или значение признака для первого объекта меньше или равны, чем для второго (код 1). Рассмотрим частный случай, в котором равенство значений признака для двух разных объектов не допускается.
	В обоих случаях результаты последовательности парных сравнений, проведенных определенным экспертом, – это последовательность из 0 и 1, т. е. люсиан [40]. Проверка согласованности экспертов – это проверка согласованности люсианов [60]. 
	Пусть каждый объект сравнивается с каждым. Тогда ответы эксперта при использовании первой формы парных сравнений – рефлексивное симметричное отношение (толерантность). При использовании второй формы парных сравнений – рефлексивное антисимметричное отношение (квазитолерантность). Антисимметричность означает, что для двух разных клеток матрицы, симметричных относительно главной диагонали, в одной стоит 0, а в другой 1. Для заполнения главной диагонали нет необходимости обращаться к экспертам – по определению записи результатов процедуры парного сравнения во всех клетках должны стоять 1.
	По заполнению 0 и 1 части матрицы, лежащей выше главной диагонали, отличить квазитолерантность от толерантности невозможно. На главной диагонали стоят единицы. Квазитолерантность отличается от толерантности только по заполнению части матрицы, лежащей ниже главной диагонали. Для толерантности в симметричных клетках стоят одинаковые числа, для квазитолерантности – числа, в сумме составляющие 1. 
	Согласованность экспертов достаточно проверять для лежащих выше главной диагонали частей матриц, описывающих мнения экспертов. Следовательно, одинаковы алгоритмы проверки согласованности для двух форм парных сравнений, описывающихся толерантностями и квазитолерантностями соответственно (алгоритмы приведены в [60]).
	Есть мнение, что последняя фраза неточна, выражая лишь «люсианоцентрический» подход. Необходимо допускать существование специфических методов проверки согласованности измерений а) в шкале наименований и б) в порядковой шкале – методов, по существу использующих смысловые структурные особенности этих шкал. При этом метод, осмысленный для порядковой шкалы, может плохо подходить для шкалы наименований и наоборот – эта логическая возможность необоснованно исключается тезисом об одинаковости алгоритмов проверки согласованности для двух форм парных сравнений.
	То, что квазитолерантность отличается от толерантности только по заполнению части матрицы, лежащей ниже главной диагонали, а эту часть мы не используем при проверке согласованности, может послужить причиной отождествления толерантности и квазитолерантности, допущенного в [60]. Такое смешение понятий ошибочно, хотя и не приводит к каким-либо проблемам при расчетах.
	Пусть цель обработки экспертных данных состоит в получении ранжировки, отражающей групповое мнение. Однако согласно рекомендуемой процедуре экспертного опроса пусть эксперты не упорядочивают объекты, а проводят парные сравнения (во второй форме), сравнивая каждый из рассматриваемых объектов со всеми остальными, причем ровно один раз. Тогда ответ эксперта – квазитолерантность (рефлексивное антисимметричное отношение), но, вообще говоря, не ранжировка, поскольку в ответах эксперта может нарушаться транзитивность. 
	Сравним два пути обработки данных (из многих разработанных в литературе). Первый – превратить ответ эксперта в ранжировку (тем или иным способом «спроектировав» его на пространство ранжировок), а затем проверять согласованность ранжировок с помощью известных критериев (например, коэффициента ранговой конкордации Кендалла и Б. Смита [5]). При этом от квазитолерантности перейти к ранжировке можно, например, так. Будем выбирать ближайшую (в смысле применяемого расстояния) матрицу к матрице ответов эксперта из всех, соответствующих ранжировкам без связей. 
	Второй путь – проверить согласованность случайных квазитолерантностей, а групповое мнение искать с помощью медианы Кемени непосредственно по исходным данным, т. е. по квазитолерантностям. Групповое мнение при этом может быть найдено в пространстве ранжировок. Второй путь мы считаем более предпочтительным, поскольку при этом обеспечивается более адекватная проверка согласованности (с помощью теории люсианов) и исключается процедура укладывания мнения эксперта в «прокрустово ложе» ранжировки.

3.4 Проверка согласованности мнений экспертов
 и классификация экспертных мнений

	Практика применения экспертных технологий показывает, что мнения разных экспертов различаются. Важно понять, насколько велико это различие. Если мало ‑ усреднение мнений экспертов позволит выделить то общее, что есть у всех экспертов, отбросив случайные отклонения в ту или иную сторону. Если велико ‑ усреднение является чисто формальной процедурой. Так, если представить себе, что ответы экспертов равномерно покрывают поверхность бублика, то формальное усреднение укажет на центр дырки от бублика, а такого мнения не придерживается ни один эксперт. Из сказанного ясна важность проблемы проверки согласованности мнений экспертов. 
	Разработан ряд методов такой проверки. Статистические методы проверки согласованности зависят от математической природы ответов экспертов. Соответствующие статистические теории весьма трудны, если эти ответы ‑ ранжировки или разбиения, и достаточно просты, если ответы ‑ результаты независимых парных сравнений. Отсюда вытекает рекомендация по организации экспертного опроса: не старайтесь сразу получить от эксперта ранжировку или разбиение, ему трудно это сделать, да и имеющиеся математические методы не позволяют далеко продвинуться в анализе подобных данных. Например, рекомендуют проверять согласованность ранжировок с помощью коэффициента ранговой конкордации Кендалла–Смита. Но давайте вспомним, какая статистическая модель при этом используется. Как известно, в рамках методологии математической статистики проверяется нулевая гипотеза, согласно которой ранжировки независимы и равномерно распределены на множестве всех ранжировок. Если эта гипотеза принимается, то ни о какой согласованности мнений экспертов говорить нельзя. А если отклоняется? Тоже нельзя. Например, может быть два (или больше) центра, около которых группируются ответы экспертов. Нулевая гипотеза отклоняется. Но разве можно говорить о согласованности? 
	Эксперту гораздо легче на каждом шагу сравнивать только два объекта. Пусть он занимается парными сравнениями. Непараметрическая теория парных сравнений (теория люсианов) [60] позволяет решать более сложные задачи, чем статистика ранжировок или разбиений. В частности, вместо гипотезы равномерного распределения можно рассматривать гипотезу однородности, т. е. вместо совпадения всех распределений с одним фиксированным (равномерным) можно проверять лишь совпадение распределений мнений экспертов между собой, что естественно трактовать как согласованность их мнений. Таким образом, удается избавиться от неестественного предположения равномерности.
	При отсутствии согласованности экспертов естественно разбить их на группы сходных по мнению. Это можно сделать различными методами статистики объектов нечисловой природы, относящимися к кластер-анализу, предварительно введя метрику в пространство мнений экспертов. Идея американского математика Джона Кемени об аксиоматическом введении метрик [22] нашла многочисленных продолжателей. Однако методы кластер-анализа обычно являются эвристическими. В частности, обычно невозможно с позиций статистической теории обосновать «законность» объединения двух кластеров в один. Имеется важное исключение ‑ для независимых парных сравнений (люсианов) разработаны методы, позволяющие проверять возможность объединения кластеров как статистическую гипотезу. Это ‑ еще один аргумент за то, чтобы рассматривать теорию люсианов как ядро математических методов экспертных оценок [73].

3.5 Практическое значение теории графов

	Теория графов ‑ важная составная часть математического инструментария контроллинга и менеджмента высоких технологий.
	В нашей стране бурно развивается теория и практика контроллинга ‑ современной концепции системного управления организацией, в основе которой лежит стремление обеспечить ее долгосрочное эффективное существование [21, 92]. Методы контроллинга – это методы информационно-аналитической поддержки принятия решений на предприятии (в организации). В XXI в. создано «Общество контроллеров» и журнал «Контроллинг», начата подготовка специалистов по контроллингу.
	Теория графов как часть математического аппарата теории принятия решений широко используется при организационно-экономическом моделировании процессов управления промышленными предприятиями. Роль рассмотренных в настоящей статье математических методов при постановке и решении задач контроллинга достаточно подробно раскрыта в работах [77, 78]. 
	Контроллинг – часть менеджмента высоких технологий, предметом которого являются системы управления наукоемкими предприятиями и их объединениями. Экономико-математические методы, кибернетика, информационно-коммуникационные технологии составляют научный инструментарий менеджмента высоких технологий. Как видно из [23], заметное место в этом инструментарии занимают математические методы, рассмотренные в настоящей статье. 
	Здесь рассмотрена лишь часть математических подходов и результатов, относящихся к тематике статьи, и еще меньшая часть прикладной тематики. Отметим, например, большое значение теории графов, бинарных отношений, парных сравнений в социологических исследованиях и при моделировании социальных процессов [57].

4 Разработка непараметрических статистических методов

	Глава 4 посвящена различным вопросам разработки и применения современных непараметрических статистических методов.

4.1 Математические методы исследования – инструменты аналитика

	Обработка статистических данных, математическое моделирование – необходимые этапы выполнения многих прикладных научных исследований. Специалисты, профессионально занимающиеся разработкой и изучением новых научных инструментов выполнения этих этапов, группируются вокруг раздела «Математические методы исследования» журнала «Заводская лаборатория. Диагностика материалов». 
	Один из важных методологических принципов в работе раздела – упор на моделирование процесса порождения данных На основе таких моделей строятся статистические методы анализа данных. Например, различные встречающиеся в литературе процедуры восстановления зависимостей (другими словами, регрессионного анализа) предусматривают применение критериев Стьюдента или Фишера для проверки тех или иных гипотез. Это означает, что подобные процедуры основаны на гипотезе нормальности распределения лежащих в ее основе случайных величин.
	Такая гипотеза не вполне адекватна поставленной задаче. Поясним это утверждение, рассмотрев две основные модели регрессионного анализа. 
	1. В первой модели независимая переменная - детерминированная. Зависимая переменная равна сумме функции от независимой переменной и случайной погрешности. Функция от независимой переменной известна с точностью до параметров, которые обычно оценивают методом наименьших квадратов. Дурная традиция состоит в том, что распределение погрешностей считают нормальным. Хотя давно известно, что нет оснований принимать нормальность распределения погрешностей (подробное обоснование дано в разделе «Математические методы исследования» в №7 за 1991 год), это предположение кочует из книги в книгу, из статьи в статью. Подчеркнем еще раз: если автор говорит о критериях Стьюдента или Фишера, он тем самым принимает, что распределение погрешностей нормально, хотя по тем или иным причинам может об этом даже не упоминать. 
	2. Во второй модели принимают, что наблюдаемые пары чисел - выборка из двумерного распределения. В этом случае регрессия - это условное математическое ожидание. Часто принимают, что распределение пар - двумерное нормальное. Обоснования никакого, но хорошо известно, что реальные распределения, как правило, не являются нормальными. 
	В обоих случаях причина - наличие развитой теории, основанной на нормальности. Действуют по пословице: «Искать ключи надо под фонарем, где светлее, а не в кустах, где потерял». 
	Без предположения нормальности можно обойтись, развивая непараметрические методы, в которых не накладываются необоснованные  требования на функции распределения используемых случайных величин. Такие функции могут иметь произвольный вид. Иногда предполагается их непрерывность. Именно непараметрическим методам посвящены многие статьи, помещенные в разделе «Математические методы исследования» (Ю.Н. Тюрин, Д.С. Шмерлинг, А.И. Орлов, С.А. Тимашев, А.Н. Тырсин и др.). Стоит отметить, что на основе публикаций в разделе «Математические методы исследования» подготовлены учебники А.И. Орлова «Прикладная статистика», «Эконометрика» и др. 
	Кроме двух рассмотренных выше моделей регрессионного анализа есть и иные, в частности, в рамках статистики интервальных данных, в которой исходные данные – интервалы. В разделе «Математические методы исследования» постоянно рассматривается эта тематика (А.П. Вощинин, А.И. Орлов, Н.В. Скибицкий, П.В. Бронз, Е.А Гуськова). Статистика интервальных данных – часть нечисловой статистики. 
	На страницах раздела подведен итог тридцати годам развития перспективной области прикладной статистики - статистики нечисловых данных (2009, №5), с самого начала представленной на страницах раздела «Математические методы исследования». Восстановлению функций нескольких нечисловых переменных при наличии случайных ошибок наблюдения посвящены работы С.А. Смоляка (2007, №№3,5). Авторы из Германии А.Н. Горбач и Н.А. Цейтлин представили серию публикаций по новым методам анализа нечисловых данных и их использованию при моделировании спонтанных последовательностей (2008, №11, 2009, №1, №5, 2010, №1).
	С современных позиций в рамках статистики нечисловых данных целесообразно рассматривать и задачи классификации. В разделе «Математические методы исследования» дан подробный анализ многообразия математических методов классификация (диагностики, распознавания образов, дискриминации, кластеризации, группировки), предложены новые методы и программные продукты (№7 и №11 за 2009 г.).
	Любые выводы, получаемые с помощью математических методов и моделей, должны быть устойчивы к допустимым отклонениям исходных данных и предпосылок модели. Методология построения устойчивых математических методов и моделей рассмотрены в №3 за 2010 г.
	На протяжении всей уже почти пятидесятилетней работы раздела «Математические методы исследования» одной из основных рассматриваемых тем являлась математическая теория планирования эксперимента. В 2010 г. исполнилось сто лет со дня рождения основоположника этой теории в нашей стране Василия Васильевича Налимова. Фундаментальная юбилейная статья его сподвижников Ю.В. Грановского и Е.В. Марковой «Поиск нового на перекрестке наук» опубликована в №7 за 2010 г.
	Решению конкретных прикладных задач с помощью математических методов и моделей посвящены многие статьи нашего раздела. Их – не менее трети от числа публикаций. Они посвящены методам обеспечения качества продукции, оценки безопасности и рисков принятия решений (в том числе оценки айсберговой угрозы, связанная с добычей нефти и газа на морском арктическом шельфе), надежности организационных структур, организационно-экономическому прогнозированию, исследованию статистического распределения времени жизни перегретого Н-пентана, математическому моделированию, проектированию и оптимизации демпфирующих сплавов и т.д. Рассматриваются проблемы программного обеспечения (2008, №5, 2009, № 11), методологии внедрения современных математических методов (2006, №5) и т.д.
	Материалы раздела «Математические методы исследования» содержат интересные теоретические разработки, которые окажутся полезными широким кругам исследователей в области аналитической химии, физических и механических методов исследования и сертификации веществ и материалов.

4.2 Непараметрический метод наименьших квадратов с периодической составляющей: условия применимости

	В разделе 4.2 рассмотрен непараметрический метод наименьших квадратов, решающий задачу восстановления зависимости, которая описывается суммой линейного тренда и периодической составляющей. В рамках естественной для приложений модели точек наблюдения обоснованы условия применимости этого метода, принятые в работе [47]. В частности, установлена асимптотическая несмещенность оценки коэффициента линейного члена. 
	Непараметрический метод наименьших квадратов с периодической составляющей. Рассмотрим задачу восстановления зависимости x = x(t) на основе набора n пар чисел (tk , xk), k = 1, 2, …, n, где tk –– значения независимой переменной, а xk – соответствующие им значения зависимой переменной. 
	Восстанавливать зависимость можно на основе различных моделей. В простейшей из них предполагается, что переменная x линейно зависит от переменной t с точностью до погрешностей измерения, т.е.
xi = a (ti - ) + b + ei , i = 1,2,…,n,			(1)
где a и b – параметры, неизвестные статистику и подлежащие оцениванию, а ek – погрешности, искажающие зависимость. Среднее арифметическое моментов времени  введено в модель для облегчения дальнейших выкладок. 
	Обычно оценивают параметры a и b линейной зависимости методом наименьших квадратов (МНК). Затем восстановленную зависимость используют для точечного и интервального прогнозирования, для построения более сложных моделей. 
	Как известно (см.. например, [76, гл.3]), оценки МНК параметров линейной зависимости имеют вид
  (2)
	При анализе экономических данных возникает необходимость использования более сложных моделей, включающих три составляющие: трендовую (T), периодическую, или циклическую (S) и случайную (E). Простейшая аддитивная модель T + S + E имеет вид 
xk = a (tk - )+ b + ek  = a (tk - ) + b+ f(tk) + Ek, k = 1,2,…,n.	(3)
Здесь трендовая составляющая – линейная функция a (tk - ) + d; периодическая составляющая f(t) произвольна, однако период известен (в зависимости от моделируемой ситуации он равен году, неделе, суткам и т.п.); случайная составляющая представлена слагаемыми Ek, которые являются реализациями независимых одинаково распределенных случайных величин с нулевым математическим ожиданием и дисперсией , неизвестной статистику.
	Периодическую составляющую называют сезонной, если период равен одному году, что естественно для данных относящихся к сельскому хозяйству. Как показывают наблюдения, число посетителей сайта или покупателей магазина имеет недельный период, а если ограничиться будними днями – суточный. 
	Иногда пытаются описать периодическую составляющую f(t) суммой некоторого числа гармоник, используя начальный участок разложения Фурье этой функции. Погрешность приближения начальным участком обычно неизвестна, число используемых гармоник обосновать нельзя. Мы признаем такой подход неадекватным, а потому считаем периодическую составляющую f(t) произвольной функцией. Отказ от задания f(t) в параметрическом виде – первое основание для того, чтобы именовать рассматриваемые модель и метод непараметрическими.
	Иногда принимают предположение о нормальности распределения погрешностей. Однако давно известно, что распределения реальных данных, как правило, отличаются от нормальных [68, п. 5.1]. Поэтому далее рассматриваем описанную выше непараметрическую модель, не предполагающую, что распределение погрешностей входит в то или иное параметрическое семейство. Отказ от задания распределения погрешностей в параметрическом виде – второе основание для того, чтобы именовать рассматриваемые модель и метод непараметрическими.
	Будем использовать Центральную предельную теорему (ЦПТ) теории вероятностей для величин ek = f(tk) + Ek (с весами), k = 1, 2, …, n, поэтому для выполнения ее условий необходимо предположить, например, что погрешности ek , k = 1, 2, …, n, финитны или имеют конечный третий абсолютный момент. Однако заострять внимание на этих внутриматематических «условиях регулярности» здесь нет необходимости.
	В статье [47] рассмотрен следующий алгоритм восстановления зависимости:
	1) по формулам (2) найти оценки a* и b* параметров линейной составляющей, а также оценки математических ожиданий и дисперсий оценок a*, b* и тренда a*t + b*, доверительные интервалы для них; 
	2) на основе отклонений наблюдаемых значений зависимой переменной от оценки тренда построить точечные и интервальные оценки периодической составляющей;
	3) объединяя полученные в 1) и 2) результаты, построить точечную и интервальную оценки зависимости x(t).
	В [47] найдены математические ожидания оценок a* и b*: 
,   , ….	(4)
В [47] установлено, что дисперсии оценок МНК параметров a* и b* линейного тренда – те же, что и при отсутствии периодической составляющей.
	В работе [47] приняты условия 
			(5)
, 		(6)
обеспечивающее несмещенность оценок параметров линейной составляющей. В предположении справедливости условий (5) – (6) реализован описанный выше алгоритм восстановления зависимости.
	Условия (5) – (6) являются принципиально важными. Они являются необходимыми и достаточными для несмещенности и состоятельности оценок, рассмотренных в статье [47].
	Несмещенность и асимптотическая нормальность оценок параметров зависимости, полученных непараметрическим методом наименьших квадратов, позволяют указывать для них асимптотические доверительные границы и проверять статистические гипотезы, например, о равенстве определенным значениям, прежде всего 0.
	Используемая в [47] многомерная нормальность имеет быть, когда каждое слагаемое в формулах (2) и (4) мало сравнительно со всей суммой, т.е. 
.		(7)
Условие (7) выполнено, если ti образуют арифметическую прогрессию, число членов которой безгранично растет.
	В настоящей работе рассмотрим три вопроса:
	А) Верны ли условия (5) – (6) в моделях, соответствующих реальным ситуациям?
	Б) Как проверять справедливость условий по результатам наблюдений?
	В) Каковы свойства оценок, если эти условия оказываются невыполненными?
	Сумма значений периодической составляющей. В условиях (5) и (6) важную роль играет система точек наблюдения tk, k = 1, 2, …, n. Примем модель, использованную в [47]. 
	Рассматривается целое число периодов, т.е. n = mq, где n – объем наблюдений, m – количество периодов, q – число наблюдений в одном периоде. Предполагается, что первые q моментов наблюдения при сдвиге на длину периода дают следующие q моментов времени, при сдвиге на две длины периода дают третий набор из q моментов наблюдения, и т.д. Тогда в соответствии с определением периодической составляющей справедливы равенства
.		(8)
Пусть gk - общее значение в (8). Для величин gk, k = 1, 2, …, n, в [47] построены точечные оценки и доверительные интервалы (в предположении, что количество периодов m безгранично растет), в чем и состоит оценивание периодической составляющей. (Для гладкой функции f(t) при безграничном росте числа наблюдений q в одном периоде можно получить сходимость оценок периодической составляющей не только в q точках, но и на всем периоде. При этом от оценок в q точках придется перейти к оценкам на всем периоде, например, кусочно-линейным, соединив соседние точки графика отрезками прямых.)
	Описанная модель справедлива, когда в течение некоторого числа лет имеются поквартальные или помесячные данные бухгалтерского учета. При изучения посещений сайта  или торгового заведения – почасовые данные за целое число недель. Если в ряду наблюдений есть пропуски (временной ряд не является полным) – предпосылки модели не выполняются. Если система точек наблюдения не является регулярной, например, в некоторых задачах анализа медицинских данных [51], использованную в [47] модель применять нельзя. 
	В рассматриваемой модели естественно принять, что 
,		(9)
суммарное отклонение значений восстанавливаемой функции от линейного тренда за один период является нулевым. Тогда условие (5) выполнено:
.
	Можно рассуждать и по-другому, априори приняв условие (5), для этого изменив – при необходимости – величину свободного члена b в модели тренда (та же логика рассуждений, что и при принятии условий M(ek) = 0 – в модели без периодической составляющей – и M(Ek) = 0).
	Таким образом, условие (5) вытекает из свойств рассматриваемой модели и потому вообще не требует проверки по экспериментальным данным, в отличие от условия (6), которое выполнено не всегда. 
	В работе [47] описан частный вид моделей, обеспечивающий априорную справедливость условия (6). Добавим к сказанному выше два предположения - симметричности множества {tk, k = 1, 2, …, n} относительно  и четности периодической составляющей f(t) относительно той же точки. Эти предположения выполнены, если, например, график f(t) симметричен относительно середины года. Ясно, что обычно нет оснований считать, что реальные данные описываются такой моделью.
	В реальных ситуациях система точек наблюдения может включать в себя, кроме целого числа периодов, еще несколько начальных точек следующего периода. Тогда возникает противоречие между условиями (5) и (9). Условие (5) автоматически обеспечивается методом наименьших квадратов, а условие (9) соответствует логике моделирования. Однако поскольку рассматриваем асимптотическую теорию при безграничном росте числа периодов, указанное различие исчезает при .
	Проверка условия (6) по экспериментальным данным. Естественно использовать статистику
,
где  - оценка периодической составляющей f(t), построенная в [47]. Оценка  является несмещенной, а потому 
.
При справедливости (7) распределение Y является асимптотически нормальным (при безграничном росте количества периодов m). Для проверки условия (6), т.е. для проверки нулевой гипотезы
H0: M(Y) = 0
при альтернативной гипотезе о неравенстве математического ожидания 0 достаточно оценить по экспериментальным данным дисперсию Y. 
	Это мы сделаем на основе теории, развитой в [47]. Согласно формуле (17) из этой статьи, непараметрические оценки периодической составляющей имеют вид
,		(10)
где , если , и  при всех остальных значениях индекса суммирования i, где ci заданы в формуле (4), . 
	В соответствии с (8) формулу (10) можно записать для любого j = 1, 2, … , n, если под k = k(j) понимать k(j) = j – aq при максимально возможном a, при котором k(j) остается положительным, т.е. k(j) – это остаток от деления j на q, если этот остаток ненулевой, и k(j) = q при нулевом остатке. Таким образом,
,		(11)
где hik – те же, что и в формуле (10). В соответствии с определением Y из (11) следует, что
.	(12)
	Изменим порядок суммирования во втором слагаемом в (12):
		(13)
Следовательно, поскольку Ei – независимые одинаково распределенные случайные величины с математическим ожиданием 0 и дисперсией , то 
.		(14)
Величину  оцениваем по формулам (11) и (16) статьи [47], величины  описаны после формулы (10). Подставив оценку  из [47] в (14) получаем оценку D*(Y) дисперсии Y.
	Правило принятия решений при проверке гипотезы H0: M(Y) = 0 таково: если 
,		(15)
где  - критическое значение, соответствующее уровню значимости , то нулевая гипотеза принимается (условие (6) выполнено), если же неравенство (15) не выполнено, то принимается альтернативная гипотеза (условие (6) не выполнено). В соответствии с асимптотической нормальностью Y с помощью условия наследования сходимости [68, разд.4.3] критическое значение  выбирается на основе того, что стоящая в (15) под знаком модуля случайная величина при справедливости нулевой гипотезы имеет (асимптотически) стандартное нормальное распределение с математическим ожиданием 0 и дисперсией 1, т.е.
,
где  - функция, обратная к функции стандартного нормального распределения. При  имеем  = 1,96.
	Задача проверки условия (6) решена. Расчеты достаточно громоздки. Примеры расчетов по формулам статьи [47] даны в [76, разд.3.7]. Прогноз закупочных цен на лом черных металлов (по данным Магнитогорского металлургического комбината) дал результаты, согласующиеся с реальностью.
	Асимптотическая несмещенность оценки параметра а. Приведем пример, когда условие (6) не выполнено. Измерять время будем в месяцах. Пусть данные берутся на середину квартала. Тогда последовательность моментов времени такова: 2, 5, 8, 11, 14, 17, 20, 23, … Задан период – год. Периодическая составляющая задается четырьмя числами: g1 = - 1, g2 = -2, g3 = -3, g4 = 6. Для таких данных выполнено равенство (9):
.
Следовательно, выполнено условие (5). Используя это условие можно упростить соотношение (6):
.
	Для простоты расчетов ограничимся двумя годами. Тогда
.
Условие (6) не выполнено. Оно не будет выполнено и для любого иного числа лет. Действительно, если х – начало года (для первого года х = 0, для второго х = 12, и т.д.), то вклад этого года в рассматриваемую сумму будет равен
.
	Причина нарушения условия (6) ясна – периодическая составляющая не симметрична в течение года. Такое поведение периодической составляющей естественно для сельскохозяйственных предприятий. Противоположную ситуацию демонстрирует периодическая составляющая для временного ряда цен на лом черных металлов (по данным Магнитогорского металлургического комбината), проанализированного по методике статьи [47] в учебнике [76, разд.3.7]. Для этого временного ряда условие (6) с практической точки зрения было признано выполненным [47, c.187].
	Смещение оценки параметра а равно
.		(16)
Числитель за m лет, как показано, 30m. А знаменатель, очевидно, имеет порядок m3. Смещение имеет порядок m-2, т.е. быстро убывает с ростом числа периодов. Оценка а* параметра а является асимптотически несмещенной.
	Нетрудно показать, что для рассмотренной в статье [47] системы точек наблюдения tk, k = 1, 2, …, n, (см. начало п.2 настоящего раздела) всегда имеет асимптотическая несмещенность оценки а* параметра а. Если условие (6) выполнено – эта оценка является несмещенной, если не выполнено – смещенной, но смещение стремится к 0 при росте числа периодов. Таким образом, условие (6) не является необходимым для применения методов статьи [47]. 
	Тем не менее проверка условия (6) по экспериментальным данным является полезным для решения о том, можно ли пользоваться асимптотической несмещенностью оценки при имеющемся объеме данных. 
	На основе соотношения (16) напрашивается двухэтапная процедура: провести расчеты в соответствии с методикой статьи [47], а затем скорректировать оценку параметра а:
.
Эта оценка будет несмещенной: M(a**) = a. Затем повторить все расчеты, заменив оценки (a*, b*) на (a**, b*). Будут получены новые оценки периодической составляющей, новые доверительные границы для восстановленной зависимости и т.д. Свойства такой процедуры требуют изучения. Однако сразу ясно, что асимптотическая несмещенность исходной оценки a* влечет бесконечную малость отклонений новых оценок от первоначальных. Однако для конкретных данных проведение двухэтапных расчетов позволит получить представление об устойчивости выводов в соответствии с методологией изучения устойчивости математических методов и моделей относительно допустимых отклонений исходных данных и предпосылок моделей. 
	Наиболее общая рекомендация теории устойчивости [74, 70] -  обрабатывать данные многими способами и выделять как объективный результат то, что получено при всех способах. Выводы, полученные только при одном способе обработки, считаем неадекватными реальности, субъективными, поскольку они определяются выбором исследователя, использовавшего именно этот способ анализа данных, а не другой (другие). Цель одновременной обработки многими способами – уменьшение влияние субъективизма, проявляющегося в выборе метода. Например, итоговое мнение комиссии экспертов целесообразно находить как методом средних арифметических рангов, так и методов медиан рангов, а потом выделять «общую часть» с помощью процедуры согласования [76].
	Описанная рекомендация теории устойчивости отвергает идею поиска оптимального метода, поскольку зачастую оказывается, что для любого выбранного для рассмотрения метода анализа данных можно подобрать такое понимание оптимальности, что именно этот метод является оптимальным. Например, метод наименьших квадратов в определенном смысле оптимален, если погрешности имеют нормальное распределение, в то время как метод наименьших модулей оптимален, если погрешности имеют распределение Лапласа. В задаче проверки однородности двух независимых выборок установлено [32], что для любого из обычно используемых критериев однородности существует такое распределение на множестве альтернативных гипотез, что рассматриваемый критерий является оптимальным (в том смысле, который определен в [32]). 
	Насколько адекватна реальным ситуациям рассматриваемая нами модель? Покажем ее уязвимость.
	Линейность тренда может быть оправдана возможностью приближения гладких функций касательными. Однако при росте числа периодов, что необходимо для получения состоятельных оценок в рассматриваемой модели, гипотеза линейности тренда становится все менее обоснованной.
	В реальных данных часто видно несколько периодов. Например, число посетителей определенного сайта имеет недельный период, но также и годовой. 
	Перечисленные недостатки, как и в других областях регрессионного анализа, могут быть смягчены усложнением модели, например, введением полиномиального тренда и нескольких периодов.
	Используемая модель случайной составляющей также может быть подвергнута критике. Вызывает сомнение независимость отклонений Ei в соседних точках наблюдения. Последствия успеха (или неудачи) в хозяйственной деятельности обычно ощущаются достаточно долго, в течение нескольких кварталов. Это означает, что следует ожидать положительную корреляцию Ei и Ei+1. 
	Одинаковая распределенность Ei также сомнительна. С ростом объемов хозяйственной деятельности, заложенной в модель в виде роста трендовой составляющей, естественно ожидать и роста погрешностей. Напрашивается модель одинаковой распределенности относительных погрешностей, однако и она, видимо, не является адекватной, поскольку погрешности Ei растут медленнее, чем объемы. 
	Подобного рода критика применима гораздо шире, к большинству моделей регрессионного анализа, и ответом на нее является развитие теоретических исследований. Однако какие методы порекомендовать для практического использования? Чему учить студентов?
	В настоящее время распространен подход, согласно которому прогнозирование временных рядов осуществляется по эвристическим методикам без какого-либо математико-статистического обоснования. Типовым примером является учебное пособие [81]. Оправданием использования эвристических методик является их практическая полезность. 
	В статье [47] и настоящем отчете сделана попытка построения математико-статистической теории в рассматриваемой области, стимулированная явной методологической несостоятельностью подходов [81]. Практическая полезность результатов [47] подтверждена успешным анализом реальных данных (цен на лом черных металлов), проведенным в учебнике [76].
	Однако требовать повсеместного перехода с устаревших эвристических методов [81] на современные математико-статистические, в частности, развитые в [47], представляется нецелесообразным из-за уязвимости методов [47] к методологической критике со стороны прикладника, примеры которой приведены выше. В соответствии с теорией устойчивости экономико-математических методов и моделей [74, 70] выход состоит в том, чтобы знакомить студентов как с методами [47], так и с методами [81] (в соответствии с общей рекомендацией теории устойчивости обрабатывать данные многими способами и выделять как объективный результат те выводы, которые получены при всех способах). Именно так построено обучение на факультете «Инженерный бизнес и менеджмент» МГТУ им. Н.Э. Баумана.
	В статье [47] и настоящем отчете период считается заданным. Математико-статистическим методам оценки периода посвящена статья [42] и раздел 10.2 учебника [68]. Эти работы позволяют, в частности, дать обоснование выделению различных видов экономических циклов.
	Ряд положений настоящей статьи наглядно демонстрирует целесообразность дальнейшей разработки методологии статистических методов [70, 54] с общих позиций методологии как учения об организации деятельности [33], в данном случае – деятельности по анализу статистических данных, по построению необходимых для этого моделей и методов. В более широком плане речь идет о разработке адекватных статистических технологий, которые можно описать как ориентированные графы, вершинами которых являются отдельные процедуры оценивания и проверки гипотез, а дугами – переходы от одной из таких процедур к другой в зависимости от результата анализа данных на предыдущем этапе. Другими словами, речь идет о дальнейшем развитии теории и методологии высоких статистических технологий (см. [68, гл.14], [36]). 

4.3 Об использовании непараметрических статистических критериев 
для оценки точности методов классификации

	В разделе 4.3 предложены подходы к оценке точности алгоритмов классификации, обоснована целесообразность использования непараметрических статистических критериев для анализа результатов экспериментов и сопоставления классификаторов, на реальном примере показано практическое применение непараметрических критериев (критерия знаков, критерия знаковых рангов Вилкоксона, критерия Фридмана).
	Методы классификации [23] – часть прикладной статистики [68]. Одна из важных проблем в этой области – оценка точности методов классификации. Рассмотрим два подхода – введение показателя качества алгоритма диагностики и сравнение результатов применения двух алгоритмов дискриминантного анализа к одной и той же эталонной выборке. 
	Результаты обработки реальных данных с помощью некоторого алгоритма диагностики в случае двух классов описываются долями: правильной диагностики в первом классе ; правильной диагностики во втором классе ; долями классов в объединенной совокупности 
	При изучении качества алгоритмов классификации их сравнивают по результатам дискриминации вновь поступающей контрольной выборки. Именно по контрольной выборке определяются величины . Однако иногда вместо контрольной используют обучающую выборку, т.е. указанные величины определяются ретроспективно, в результате анализа уже имеющихся данных. Обычно это связано с трудоемкостью получения данных. Тогда κ и λ зависимы. Однако в случае, когда решающее правило основано на использовании дискриминантной поверхности, параметры которой оцениваются по обучающим выборкам, величины κ и λ асимптотически (при безграничном росте объемов выборок) независимы [45], что позволяет использовать приводимые ниже результаты и в этом случае. 
	Нередко как показатель качества алгоритма диагностики (прогностической «силы») используют долю правильной диагностики

	Однако показатель  определяется, в частности, через характеристики  и , частично заданные исследователем (например, на них влияет тактика отбора образцов для изучения). В аналогичной медицинской задаче величина  оказалась больше для тривиального прогноза, согласно которому у всех больных течение заболевания будет благоприятно. Тривиальный прогноз сравнивался с алгоритмом выделения больных с прогнозируемым тяжелым течением заболевания. Он был разработан группы под руководством академика АН СССР И.М. Гельфанда. Применение этого алгоритма с медицинской точки зрения вполне оправдано [12].
	Другими словами, по доле правильной классификации алгоритм академика И.М. Гельфанда оказался хуже тривиального - объявить всех больных легкими, не требующими специального наблюдения. Этот вывод очевидно нелеп. И причина появления нелепости вполне понятна. Хотя доля тяжелых больных невелика, но смертельные исходы сосредоточены именно в этой группе больных. Поэтому целесообразна гипердиагностика - рациональнее часть легких больных объявить тяжелыми, чем сделать ошибку в противоположную сторону.
	Применение теории статистических решений требует знания потерь от ошибочной диагностики, а в большинстве научно-технических и экономических задач определить потери, как уже отмечалось, сложно. В частности, из-за необходимости оценивать человеческую жизнь в денежных единицах. По этическим соображениям это, на наш взгляд, недопустимо. Сказанное не означает отрицания пользы страхования, но, очевидно, страховые выплаты следует рассматривать лишь как способ первоначального смягчения потерь от утраты близких.
	Итак, применение теории статистических решений в рассматриваемой постановке вряд ли возможно, поскольку оценить количественно потери от смерти больного нельзя по этическим соображениям. Поэтому, на наш взгляд, долю правильной диагностики  нецелесообразно использовать как показатель качества алгоритма диагностики.
	Прогностическая сила как показатель качества классификации. В качестве показателя качества классификации предлагаем использовать прогностическую силу алгоритма диагностики, основанную на методе пересчета на модель линейного дискриминантного анализа, согласно которому статистической оценкой теоретической прогностической силы  является т.н. «эмпирическая прогностическая сила»

где  - функция стандартного нормального распределения вероятностей с математическим ожиданием 0 и дисперсией 1, а  - обратная ей функция.
	Пример 1. Если κ = 0,90 и λ = 0,80, то Φ-1(κ) = 1,28 и Φ-1(λ) = 0,84, откуда d* = 2,12 и эмпирическая прогностическая сила δ* = Φ-1(1,06) = 0,86. При этом доля правильной классификации μ может принимать любые значения между 0,80 и 0,90, в зависимости от долей классов в объединенной совокупности 
	Если классы описываются выборками из многомерных нормальных совокупностей с одинаковыми матрицами ковариаций, а для классификации применяется классический линейный дискриминантный анализ Р. Фишера, то величина  представляет собой состоятельную статистическую оценку расстояния Махаланобиса между рассматриваемыми двумя совокупностями, независимо от порогового значения, определяющего конкретное решающее правило. В общем случае показатель  вводится как эвристический.
	Пусть алгоритм классификации применялся к совокупности, состоящей из т объектов первого класса и n объектов второго класса.
	Теорема 1. Пусть т, п. Тогда для всех х
,
где  - истинная «прогностическая сила» алгоритма диагностики;  - ее эмпирическая оценка,
;
здесь  - плотность стандартного нормального распределения вероятностей с математическим ожиданием 0 и дисперсией 1.
	С помощью теоремы 1 по  и  обычным образом определяют доверительные границы для прогностической силы .
	Пример 2. В условиях примера 1 при m = n = 100 найдем асимптотическое среднее квадратическое отклонение А(0,90; 0,80). 
	Поскольку φ(Φ-1(κ)) = φ(1,28) = 0,176, φ(Φ-1(λ)) = φ(0,84) = 0,280, φ(d*/2) = φ(1,06) = 0,227, то подставляя в выражение для А2 численные значения, получаем, что
.
	При m = n = 100 имеем А(0,90; 0,80) = 0,0252. При доверительной вероятности γ = 0,95 имеем u(0,95) = Φ-1(1,0,975) = 1,96, а потому нижняя доверительная граница для прогностической силы δ есть δН = 0,86 – 1,96  0,0252 = 0,81, а верхняя доверительная граница такова: δВ = 0,86 + 1,96  0,0252 = 0,91. Аналогичный расчет при m = n = 1000 дает δН = 0,845, δВ = 0,875.
	Проверка возможности применения прогностической силы. Допустим, что классификация состоит в вычислении некоторого прогностического индекса у и сравнении его с заданным порогом с. Объект относят к первому классу, если у < с, ко второму, если у > с. Прогностический индекс – это обычно линейная функция от характеристик рассматриваемых объектов. Другими словами, от координат векторов, описывающих объекты.
	Возьмем два значения порога с1 и c2. Если пересчет на модель линейного дискриминантного анализа обоснован, то, как можно показать, «прогностические силы» для обоих правил совпадают: . Выполнение этого равенства можно проверить как статистическую гипотезу. Укажем способ проверки, т.е. опишем соответствующий критерий проверки статистической гипотезы.
	Пусть  - доля объектов первого класса, для которых y < c1, а  - доля объектов первого класса, для которых c1 < y < c2. Аналогично пусть  - доля объектов второго класса, для которых c1 < y < c2, а  - доля объектов второго класса, для которых у > с2. Тогда можно рассчитать две оценки одного и того же расстояния Махаланобиса. Они имеют вид:

	Теорема 2. Если истинные прогностические силы двух правил диагностики совпадают, т.е.  то при  при всех х
,
где
;
.
	Из теоремы 2 вытекает метод проверки рассматриваемой гипотезы: при выполнении неравенства

она принимается на уровне значимости, асимптотически равном , в противном случае - отвергается.
	Пример 3. Пусть данные примеров 1 и 2 соответствуют порогу с1. Пусть порогу с2 соответствуют  = 0,95 и  = 0,70. Тогда в обозначениях теоремы 2 κ1 = 0,90, κ2 = 0,05, λ2 = 0,10, λ3 = 0,70. Далее d*(c1) = 2,12 (пример 1), d*(c2) = 2,17, T(κ1, κ2) = 2,22, T(λ3, λ2) = 0,89. Гипотеза о совпадении прогностических сил на двух порогах принимается на уровне значимости α = 0,05 тогда и только тогда, когда 
,
т.е. когда
.
Так, гипотеза принимается при m = n = 1000 и отвергается при m = n = 5000. 
	Методы оценки точности классификатора. Далее в данном разделе рассматриваются, прежде всего, вопросы сравнения различных методов, например, вновь разработанных (или модифицированных) алгоритмов с «классическими» (базовыми) процедурами). Проанализируем основные подходы к оценке точности методов, которые используются в современных публикациях по статистическому анализу данных.
	1. Расчет ошибок (или средней ошибки) классификатора на различных экзаменационных выборках.
	2. Расчет ошибок решающего правила на эталонных выборках, так называемый метод benchmark. 
	3. Расчет ошибок классификатора на специально сгенерированных искусственных массивах данных с априорно известной структурой.
	Дадим краткую характеристику этим подходам.
	Расчет прогностической силы или средней ошибки классификатора на различных экзаменационных выборках является, видимо, наиболее распространенным подходом к оценке точности классификации и сопоставлению различных решающих правил, испытанных на одних и тех же массивах данных. Вместе с тем у этого способа имеется существенный недостаток. Как известно, точность метода  определяется как особенностями самого решающего правила, так и «природой данных». В зависимости от  «природы данных»  точность классификаторов может варьироваться от выборки к выборке в широком диапазоне. При этом часто возникает ситуация, когда один из методов существенно опережает другие алгоритмы по точности на нескольких выборках и, в то же время уступает им на остальных. Усреднение в таком случае лишь сглаживает имеющиеся различия, сильно зависит от наличия выбросов (аномально больших ошибок) и не позволяет сделать достоверные выводы о преимуществах того или иного метода.
	Расчет ошибок решающего правила на эталонных выборках (тестовых коллекциях) в последнее десятилетие стал де-факто одним из стандартов проверки качества обучения классификаторов (Machine Learning) и их точности. Эталонные выборки формируются и описываются группой авторитетных ученых и предоставляются для свободного использования в научных исследованиях. К числу наиболее известных тестовых коллекций следует отнести фактографическую базу данных (БД) Калифорнийского университета – UCI  Machine Learning Repository [106], документальную англоязычную БД TREC (Text Retrieval Conference) [105], массив сообщений агентства Reuters [103] и русскоязычную БД РОМИП (Российский семинар по оценке методов информационного поиска) [104]. При использовании эталонных выборок часто вместо ошибки классификации рассчитывается показатель полнота-точность, заимствованный из области информационного поиска (Information Retrieval) [85].
	Однако следует отметить, что эталонные выборки, сформированные для достаточно общих случаев, часто не соответствуют тем реальным задачам, которые планируется решать с помощью конкретного разрабатываемого метода. Например, представляется нецелесообразным проверять точность алгоритма классификации, предназначенного для распределения по классам научных публикаций в области медицины, на выборках, сформированных из сообщений агентства Рейтер. Кроме того, в ряде случаев достаточно сложно подобрать подходящую структуру выборки, так как испытуемый классификатор (и область его возможного использования) обычно предполагает наличие ограничений по размеру массива данных, количеству классов и т.п. Поэтому высокие показатели точности решающего правила на эталонных выборках чаще всего не гарантируют такого же качества классификации при решении реальных задач.
	Применение на практике искусственных выборок ограничивается сложностью и ресурсозатратностью имитационного моделирования. При этом  ошибки на таких «идеальных» выборках обычно существенно меньше тех, которые получаются на практике. Наибольшая польза от данного способа расчета точности заключается в построении некоторых диапазонов ошибок, соответствующих наилучшим и наихудшим случаям, а также исследовании асимптотических свойств методов. 
	Значительно реже при оценке точности решающего правила используются другие подходы. В частности, проводится сравнение ошибок известного алгоритма, реализованного исследователем, с ошибками этого же алгоритма, представленного в коммерческом программном средстве (такие методы, как метод k-ближайших соседей, деревья решений, наивный байесовский метод, многослойный персептрон реализованы, например, в программе STATISTICA 7.0). Однако этот подход не применим, когда создается новый метод, не имеющий аналогов.
	К сожалению, ни один из описанных выше способов расчета точности  не позволяет ответить на вопрос, насколько существенны наблюдаемые различия в ошибках классификаторов и имеются ли статистические основания выделить одно из решающих правил как наиболее точное. Именно ответ на этот вопрос необходимо получить в результате экспериментального исследования классификаторов. Однако в публикациях данная проблема, как правило, выпадает из рассмотрения и окончательный вывод зачастую формулируется на эмпирическом уровне: новый метод обеспечил среднюю точность на выборках, например на 2% выше, чем у известных процедур (при этом остается не ясно: 2% - это статистически значимый результат или случайный шум) или на большинстве выборок новый метод оказался более точным, чем базовый алгоритм (опять же остается открытым вопрос: можно ли сделать вывод о систематическом улучшении точности?). 
	Казалось бы, логичным для снятия неопределенности использовать специальные статистические критерии. Очевидно, некорректно использовать параметрические критерии из-за несоблюдения гипотезы о нормальном распределении ошибок классификации. Представляется целесообразным проанализировать возможность адаптации ряда непараметрических тестов применительно к задачам оценки точности классификаторов, а также привести примеры их использования на конкретных выборках. При этом рассматриваемые ниже тесты с одной стороны наилучшим образом подходят именно для статистического оценивания результатов классификации, а с другой стороны, они просты в практическом применении и, как указывается в [6], «их свойства изучены с наименьшей долей математической софистики».
	Непараметрические статистические критерии для проведения сравнительного анализа точности классификаторов. Уточним постановку задачи: имеется совокупность выборок  (i = 1,…, h, h – количество выборок), на этих выборках проводится классификация с помощью группы решающих правил  (j,l = 1,…,m, m- количество решающих правил). Обычно один метод (или несколько методов) в группе является новым (или модифицированным), именно его точностные характеристики должны быть установлены по отношению к остальным базовым классификаторам, принимающим участие в исследовании.  При этом цели сравнительного анализа формулируются следующим образом: 
	1) необходимо сопоставить точность двух классификаторов  и , а также установить, насколько значимо улучшает (или не улучшает) точность классификации один из методов; 
	2) необходимо сопоставить точность всех решающих правил и установить, имеются ли статистически значимые различия в их точности.
	Для ошибок методов классификации (т.е. количеств ошибочно классифицированных элементов) обычно не соблюдаются предположения о нормальном законе распределения и однородности дисперсий. Кроме того, точность классификаторов обычно оценивается по небольшому числу выборок. В связи с этим представляется нецелесообразным использовать классические параметрические критерии (например, t-критерий или ANOVA) и их модификации, которые разработаны для частичной компенсации отклонений от исходных предположений [95, 97, 96]. Для корректного сопоставления классификаторов более продуктивно использовать непараметрические критерии (НК).
	Рассмотрим применение непараметрических критериев для сопоставления точности двух классификаторов  и . Для определенности будем считать, что  - вновь разработанный классификатор, а  - базовый классификатор. Формализуем решаемую задачу. Имеются две связанные выборки одинакового размера. Первая состоит из ошибок , полученных на группе выборок  (i=1,…,h) с помощью решающего правила  (т.е. - - число элементов выборки B(i), неправильно классифицированных с помощью решающего правила ). Вторая выборка содержит ошибки , сделанные решающим правилом  . Ошибки  получены  на тех же выборках . 
	Речь идет о проверке однородности связанных выборок [68, гл.8], [44]. Проверяется нулевая гипотеза  о том, что две связанные выборки, каждая из которых состоит из ошибок одного из методов, принадлежат однородным генеральным совокупностям, их функции распределения совпадают. Фактически означает, что изменение ошибок классификации за счет использования вновь разработанного метода  носит случайный характер, альтернативная гипотеза  предполагает, что ошибки новой процедуры систематически отличаются от ошибок базового метода . В качестве альтернативной гипотезы часто рассматривают «гипотезу сдвига».
	Рассчитаем разности элементов связанных выборок:
.                       (1)
Общая математическая модель для проведения статистического оценивания имеет вид [93, 94]:
,                                (2)
где  - неизвестный параметр, характеризующий различие в точности двух классификаторов,  - ненаблюдаемые случайные величины, которые являются независимыми и принадлежат непрерывной совокупности, симметричной относительно нуля. 
	Таким образом, приведенная выше модель предполагает, что значения разностей определяются двумя составляющими: закономерной и случайной. При проведении статистического оценивания нас в первую очередь интересует закономерная составляющая, величина которой предопределяется действием некоторого числа скрытых причин, прежде всего качеством настройки параметров решающих правил, их обобщающей мощностью. В случае, если решающие правила  и  обладают идентичными точностными характеристиками, то , различия в разностях случайны,  и эффект выигрыша в точности от использования одного из классификаторов отсутствует. 
	Из непараметрических критериев для решения поставленной задачи рассмотрим критерий знаков и критерий знаковых рангов Вилкоксона для связанных выборок (Wilcoxon Watched Pair Test) [68, гл.8], [44].
	Критерий знаков основывается на расчете случайных величин, представляющих разность элементов связанных выборок (см. формулу (2)). Нулевые разности, возникающие из-за случайных погрешностей и ошибок округления и соответствующие им пары наблюдений, исключим из рассмотрения. В случае, если значимых различий в точности классификаторов нет, то  вероятности появления положительных и отрицательных разностей равны  . Таким образом, в критерии знаков проверяется гипотеза:
.
Соответствующая альтернативная гипотеза имеет вид:
.
Здесь ,  - количество ненулевых разностей.
	Статистикой критерия является число знаков «+» (или  «-») величины . В дальнейшем для определенности берется число знаков «+». При условии, что гипотеза  верна, знаки разности  - независимы и число знаков «+» имеет биномиальное распределение с параметрами   и .
	Пусть r– наблюденное число знаков «+», а - заданный уровень значимости. Гипотеза  отклоняется для двустороннего критерия, если выполняется одно из неравенств:
,         или          .        (3)
Если данные неравенства не выполняются, то  гипотеза  не противоречит результатам наблюдений и принимается на уровне значимости .
	Для определения статистики критерия используются таблицы биномиального распределения, а также нормальная аппроксимация биноминального распределения [68, гл.8], [44]:
.
Здесь   - функция стандартного нормального распределения . Из теоремы Муавра-Лапласа следует правило принятия решений на уровне значимости 5%. Если 
,                         (4)
то нулевую гипотезу принимают, в противном случае отклоняют (для другого уровня значимости в качестве критического значения выбирается иная квантиль нормального распределения).
	Критерий знаковых рангов Вилкоксона (далее критерий Вилкоксона), в отличие от критерия знаков, основывается на расчете рангов. Модули разностей между ошибками сравниваемых методов , вычисленные по связанным выборкам, упорядочиваются в порядке возрастания и им присваивается ранг (от 1 до τ). Поскольку значения разностей случайны, случайными величинами оказываются и их ранги. При справедливости нулевой гипотезы для непрерывного и симметричного распределения случайной составляющей  (см. формулу (2)) все ранговые последовательности оказываются равновероятными и независящими от конкретного вида закона распределения  [68, гл.8], [44]. Выборочная статистика критерия Вилкоксона   равна сумме рангов положительных разностей. В случае, если исследуемые выборки имеют небольшой размер (τ<25), то для определения  используются специальные таблицы [94]:  отклоняется на уровне , если 
  или  .               (5)
 принимается на уровне , если 
.            (6)
При  используют статистику :
.
При условии, что гипотеза  верна,  имеет (приближенно) стандартное нормальное распределение . Гипотеза  отклоняется при двухсторонней альтернативе на уровне значимости 5%, если 
,                           (7)
где  - выборочное значение статистики ,  - квантиль стандартного нормального распределения .
	Для проверки однородности связанных выборок могут быть применены и другие критерии, в частности, критерий типа омега-квадрат [68, гл.8], [44].
	Критерий Фридмана используется для сопоставления точности  трех и более классификаторов по связанным выборкам. Критерий Фридмана (Friedman Test) – непараметрический аналог однофакторного дисперсионного анализа (ANOVA). Предположим, что в исследовании на группе выборок  (i = 1,…,h) испытываются классификаторы (алгоритмы классификации)  (j,l = 1,…,m) и проверяется наличие различий в обработке (т.е. отличий в ошибках классификации). Математическая модель для проведения статистического оценивания имеет вид:
,                            (8)
где - ошибка классификатора  на выборке ;  - неизвестная средняя ошибка классификаторов на всех (возможных) выборках; - неизвестные параметры, которые отражают «эффект выборки», т.е. погрешности возникающие из-за структуры конкретной выборки; - неизвестный параметр, характеризующий точность классификатора  (наличие «эффекта обработки» от использования этого метода);  - ненаблюдаемые случайные взаимно независимые величины, извлеченные из непрерывной совокупности. Проверяется нулевая гипотеза о том, что  «эффект обработки» отсутствует (методы обеспечивают идентичную точность) против альтернативы, что не все классификаторы эквивалентны:
,
.
	Для проверки гипотезы необходимо сделать следующие расчеты [94].
	1. Проводится ранжирование точности классификаторов для каждой выборки. Классификатор, который показал наилучшую точность на выборке  получает ранг 1, следующий по точности классификатор (на выборке ) - ранг 2, наименее точный классификатор (на выборке ) - ранг m. Аналогичное упорядочивание проводится для остальных (h-1) выборках.
	2. Для каждого классификатора определяется сумма рангов по всем выборкам и средний ранг (- ранг j–го классификатора  на i–ой выборке).
	3. Вычисляется выборочная статистика Фридмана 
.             (9)
Здесь .
	4. Гипотеза  отклоняется на уровне , если  , и  принимается на уровне , если  . Константы определяются по специальным таблицам [94].
	В случае h>10 и m>5 можно воспользоваться тем, что данная статистика имеет асимптотическое  распределение с (m-1) степенью свободы. Тогда 
 отклоняется на уровне , если  ,          (10)
 принимается на уровне , если  .        (11)
 Чем сильнее различаются классификаторы по точности, тем большие значения будут принимать значения выборочной статистики Фридмана, и, наоборот, меньшие значения статистики  будут соответствовать случаю, когда значения  близки к .
	При отклонении  принимается альтернативная гипотеза без конкретизации направлений различий. Для получения более детальных выводов необходимо использовать дополнительные тесты, например, критерий Пейджа или критерий Вилкоксона [94]. В некоторых публикациях рассматривается также возможность использования наряду (вместо) с критерием Фридмана непараметрического теста Кендалла, в котором в качестве статистики применяется коэффициент конкордации.
	Критерий Пейджа применяют для проверки  против альтернативы
,
где хотя бы одно неравенство строгое. При этом необходимо выполнить следующие расчеты.
	1. Вычислить выборочную статистику
,                          (12)
где  ранги  рассчитываются аналогично тому, как это делалось в критерии Фридмана.
	2. Гипотеза отклоняется на уровне , если , и   принимается на уровне , если  . Константы определяется по специальным таблицам [94].
	Для больших выборок статистика Пейджа имеет асимптотическое нормальное распределение .
	Пример использования непараметрических критериев. Рассмотрим процедуру анализа точности классификаторов с помощью непараметрических критериев на примере обработки текстовых данных.  На девяти выборках, сформированных из различных документальных библиографических БД и имеющих одинаковую структуру (размер и число классов), испытывалось 4 метода классификации. Три классификатора (метод центроидов (МЦ), метод к-ближайших соседей (метод к-БС) и наивный байесовский метод (НБМ)), относятся к числу  широко известных и хорошо изученных процедур. Еще один метод классификатор, модифицированный метод ближайшего соседа (ММБС), является модификацией метода к-ближайших соседей, в которой за счет введения ряда эвристик удается увеличить быстродействие [105].
	Целями использования непараметрических критериев являются:
	- установить имеются ли значимые различия в точности при применении различных методов классификации (т.е. присутствует «эффект обработки»);
	- определить имеются ли существенные потери в точности в модифицированном методе по отношению к прототипу - методу к-БС.
	Ошибки испытываемых классификаторов на девяти выборках приведены в табл.1 (более подробное описание организации экспериментов дано в [86]).
 
                                                                                                         Таблица 1
Ошибки четырех классификаторов на девяти выборках
Выборки 	Алгоритмы классификации	
	МЦ      	Метод к-БС	НБМ	ММБС	
В1	0,193	0,271	0,228	0,278	
В2	0,214	0,293	0,193	0,293	
В3	0,3	0,3	0,335	0,343	
В4	0,064	0,135	0,321	0,128	
В5	0,121	0,15	0,343	0,135	
В6	0,121	0,171	0,25	0,171	
В7	0,3	0,335	0,293	0,335	
В8	0,307	0,343	0,35	0,343	
В9	0,293	0,3	0,307	0,307	

	Визуальная оценка результатов, представленных в табл.1, для сопоставления ошибок методов вряд ли продуктивна и затруднена высокой изменчивостью точностных характеристик (на разных выборках различные методы оказываются наиболее точными). В связи с этим для сравнительного анализа классификаторов целесообразно использовать НК.
	Прежде всего ответим на вопрос: имеется ли «эффект обработки», означающий наличие значимых различий в точности исследуемых методов. Воспользуемся для этого критерием Фридмана.
	В табл. 2 приведены ранги методов на каждой из выборок и рассчитан средний ранг классификаторов. Выборочная статистика Фридмана равна:
.                     
Для ,  и  находим табличное значение статистики  (значение  ) [94]. 

                                                                                                       Таблица 2
Применение критерия Фридмана для сравнения классификаторов
Выборка \ Ошибка   
Метода	МЦ      	Ранг МЦ	Метод к-БС	Ранг
Метод к-БС	НБМ	Ранг
НБМ	ММБС	Ранг
ММБС	
В1	0,193	1	0,271	3	0,228	2	0,278	4	
В2	0,214	2	0,293	3,5	0,193	1	0,293	3,5	
В3	0,3	1,5	0,3	1,5	0,335	3	0,343	4	
В4	0,064	1	0,135	3	0,321	4	0,128	2	
В5	0,121	1	0,15	3	0,343	4	0,135	2	
В6	0,121	1	0,171	2,5	0,25	4	0,171	2,5	
В7	0,3	2	0,335	3,5	0,293	1	0,335	3,5	
В8	0,307	1	0,343	2,5	0,35	4	0,343	2,5	
В9	0,293	1	0,3	2	0,307	3,5	0,307	3,5	
Средний ранг  
Средняя ошибка 	
0,21	1,277	
0,255	2,72	
0,29	2,94	
0,259	3,05	

	Гипотеза  отклоняется на уровне , так как  . Таким образом, на основе критерия Фридмана можно сделать вывод о наличии «эффекта обработки» и неэквивалентности рассматриваемых классификаторов. 
	В контексте данного раздела наиболее интересным представляется вопрос: наблюдается ли проигрыш в точности при использовании быстродействующей модификации метода ближайшего соседа – ММБС по отношению к прототипу. Обычно при увеличении быстродействия методов за счет введения различных эвристик наблюдается ухудшение ряда других показателей качества классификации, включая точность, требуемые затраты на обучение, интерпретируемость и т.п. Поэтому особо важно проводить комплексное исследование таких модификаций, детально анализируя их точность. Анализ средних ошибок (см. табл.2) позволяет предположить, что оба метода (метод к-БС и ММБС) имеют «близкие точностные характеристики». Однако для формализации понятия «близкие точностные характеристики» целесообразно воспользоваться непараметрическими тестами, например критерием Вилкоксона или критерием знаков.
	Рассчитаем модули разностей между ошибками сравниваемых методов  по девяти исследуемым связанным выборкам:
   {0,007;  0;   0,043;   0,007;    0,015;    0;  0,;  0; 0,007}.
             +                   +          +             -                            +
Исключим нулевые разности, остальные  упорядочим по возрастанию и присвоим им ранг (одинаковым  разностям присваивается средний ранг):
:     0,007; 0,007; 0,007; 0,015; 0,043.
Ранг:       2         2         2          4       5     .
Статистика критерия  равна сумме рангов положительных разностей: . По таблицам для  (количество выборок, на которых получены ненулевые разности) и  находим: . Подставим полученное значение в выражение  (см. формулу (5)):

- неравенство выполняется,  принимается на уровне значимости . 
	Используя критерий знаков (см. формулу (4)), получаем аналогичный результат (): 
.
Так как данное неравенство выполняется, то  принимается на уровне значимости  (тот же вывод и при применении таблиц биномиального распределения).
	Таким образом, согласно критерию Вилкоксона (и критерию знаков) статистически значимых различий в точности метода к-БС и ММБС не обнаружено и справедливо утверждение, что ММБС увеличивает быстродействие прототипа (это доказывается путем расчета вычислительной сложности алгоритма в [86]) практически без потери в точности классификации. 
	В рассматриваемом исследовании было бы целесообразно также проверить предположение о том, что метод центроидов показывает более высокую точность, чем остальные три метода. Для сравнительного анализа выберем метод к-БС, характеристики которого хорошо изучены в литературе [86]. 
	Для выявления статистически значимых различий в точности двух методов применим критерий знаков. Проверяется нулевая гипотеза 
.
против альтернативы:
.
Рассчитаем число знаков «+» у величин разностей . На одной выборке ошибки методов совпали (равные разности согласно критерию сравнения исключается из рассмотрения) на остальных МЦ оказался более точен, т.е. r– наблюденное число знаков «+» равно 8 (=r=8) .
	Для сокращения вычислений воспользуемся формулой (4) и зададимся уровнем значимости :
.
Так как данное неравенство не выполняется, то  отклоняется для двустороннего критерия на уровне значимости .
	Аналогичный результат получается при использовании критерия Вилкоксона: , . Согласно формуле (5)   и  отклоняется для двустороннего критерия на уровне значимости .
	Полученный статистический вывод можно рассматривать как еще одно дополнительное свидетельство, подтверждающее предположение, что снижение ошибки метода центроидов по сравнению с ошибкой метода к-БС носит систематический неслучайный характер. 
	Хотя проверку гипотез с использованием непараметрических критериев достаточно просто осуществлять «вручную», тем не менее в настоящее время большинство непараметрических тестов реализовано в статистических программах.
	Подведем итоги раздела. Создание новых эффективных методов классификации многомерных и нечисловых наблюдений в значительной мере осложняется неформализованностью и сложностью процедуры сопоставления точности методов. Чаще всего в публикациях при сравнении и интерпретации результатов экспериментов не проводится комплексный  анализ с привлечением статистических критериев.
	Действительно среди таких методов не существует некоторого «золотого стандарта» для определения достоверности наблюдаемых различий в точности классификаторов на различных выборках. Вместе с тем в настоящее время разработан целый арсенал непараметрических критериев, которые можно эффективно  применять для статистического анализа результатов классификации, получения определенных ориентиров и доводов, дополняющие логические и интуитивные рассуждения, обобщающие результаты экспериментов. 
	Отметим, что продемонстрированные в настоящей работе подходы к определению прогностической силы алгоритмов классификации (диагностики, дискриминации) и статистической значимости имеющихся различий в точности классификаторов может быть использован при анализе ряда других взаимосвязанных проблем: сопоставления процедур выбора информативных признаков, разработки процедур редукции выборки без потерь в точности классификации, сравнения быстродействия методов, оценки согласованности суждений экспертов при определении меток классов и т.п.

4.4 Состоятельные критерии проверки абсолютной однородности 
независимых выборок

	Критериям проверки гипотезы абсолютной однородности двух независимых выборок посвящен ряд публикаций [20, 39, 52]. Было установлено, что состоятельными являются только критерии Смирнова и Лемана – Розенблатта. В разделе 4.4 даны алгоритмы расчетов и правила принятия решений для этих критериев. 
	Как и в предыдущих работах [20, 39, 52], примем следующую модель порождения данных. Элементы первой выборки x1, x2, ..., xm рассматриваем как результаты m независимых наблюдений некоторой числовой случайной величины Х с функцией распределения F(x), неизвестной статистику, а элементы второй выборки y1, y2, ..., yn - как результаты п независимых наблюдений, вообще говоря, другой случайной величины Y с функцией распределения G(x), также неизвестной статистику. Предполагается также, что наблюдения в одной выборке не зависят от наблюдений в другой, поэтому выборки и называют независимыми.
	Понятие «однородность», т. е. «отсутствие различия», может быть формализовано в терминах вероятностной модели различными способами. 	Наивысшая степень однородности (абсолютная однородность) достигается, если обе выборки взяты из одной и той же генеральной совокупности, т. е. справедлива нулевая гипотеза
H0 : F(x)=G(x) при всех х.
Отсутствие абсолютной однородности означает, что верна альтернативная гипотеза, согласно которой
H1 : F(x0)G(x0)
хотя бы при одном значении аргумента x0. Если гипотеза H0  принята, то выборки можно объединить в одну, если нет - то нельзя.
	В некоторых случаях целесообразно проверять не совпадение функций распределения, а лишь совпадение некоторых характеристик случайных величин Х и Y - математических ожиданий, медиан, дисперсий, коэффициентов вариации и др. [39, 52].
	В соответствии с методологией прикладной статистики естественно потребовать, чтобы рекомендуемый для массового использования статистический критерий абсолютной однородности был состоятельным, т.е. для любых отличных друг от друга функций распределения F(x) и G(x) (другими словами, при справедливости альтернативной гипотезы H1) вероятность отклонения гипотезы H0 должна стремиться к 1 при увеличении объемов выборок т и п. Из перечисленных в [20, 52] критериев однородности состоятельными являются только двухвыборочные критерии Смирнова и омега-квадрат (Лемана – Розенблатта). Проведенное в Институте высоких статистических технологий и эконометрики МГТУ им. Н.Э. Баумана исследование мощности (методом статистических испытаний) критериев однородности (при различных вариантах функций распределения F(x) и G(x)) подтвердило преимущество критериев Смирнова и омега-квадрат и при малых объемах выборок 6 - 12. Однако этот вывод не был подкреплен алгоритмами расчетов и правилами принятия решений для указанных критериев. Этот пробел заполняется в настоящем разделе.
	Критерий Смирнова однородности двух независимых выборок. Он был предложен членом-корреспондентом АН СССР Н.В. Смирновым в 1939 г. (см. [5]). Единственное ограничение - функции распределения F(x) и G(x) должны быть непрерывными. 
	Согласно Л.Н. Большеву и Н.В. Смирнову [5] значение эмпирической функции распределения в точке х равно доле результатов наблюдений в выборке, меньших х. Критерий Смирнова основан на использовании эмпирических функций распределения Fm(x) и Gn(x), построенных по первой и второй выборкам соответственно. Значение двухвыборочной статистики Смирнова

сравнивают с соответствующим критическим значением (см., например, [5]) и по результатам сравнения принимают или отклоняют гипотезу Н0 о совпадении (однородности) функций распределения. Практически значение двухвыборочной статистики Смирнова Dm,п рекомендуется согласно [5] вычислять по формулам
,	(1)
,	(2)
,		(3)
где x'1<x'2<…<x'm - элементы первой выборки x1, x2, … , xm, переставленные в порядке возрастания, а y'1 < y'2 < … < y'n  - элементы второй выборки y1, y2, … , yn , также переставленные в порядке возрастания. Поскольку функции распределения F(x) и G(x) предполагаются непрерывными, то вероятность совпадения каких-либо выборочных значений равна 0.
	Пример 1. Пусть, как и в [39], даны две выборки. Первая содержит m = 12 элементов 17; 22; 3; 5; 15; 2; 0; 7; 13; 97; 66; 14. Вторая содержит n = 14 элементов 47; 30; 2; 15; 1; 21; 25; 7; 44; 29; 33; 11; 6; 15. Проведем проверку однородности функций распределения двух выборок с помощью критерия Смирнова. 
	Переставим элементы первой выборки в порядке возрастания: 0 < 2 < 3 < 5 < 7 < 13 < 14 < 15 < 17 < 22 < 66 < 97. Аналогично для второй выборки: 1 < 2 < 6 < 7 < 11 < 15 = 15 < 21 < 25 < 29 < 30 < 33 < 44 < 47. Точнее говоря, элементы переставлены в порядке неубывания, поскольку два элемента совпадают. С точки зрения теории вероятность совпадения двух элементов равна 0, но из-за неизбежных округлений эта вероятность положительна. Поскольку совпадений мало (как внутри одной выборки, так и для элементов разных выборок), то использование теории, основанной на нулевой вероятности совпадения элементов выборок, является допустимым.
	Расчет значений статистик  и  целесообразно проводить с помощью разработанных нами таблиц 1 и 2 соответственно.

Таблица 1
Расчет значения статистики 
№ 
п/п	Элементы выборок x	Номера выборок 	Fm(x)	r/n	r/n –
Fm(x)	Gn(x)		Gn(x)- 
(s-1)/m	
(1)	(2)	(3)	(4)	(5)	(6)	(7)	(8)	(9)	
1	0	1	0			0	0	0	
2	1	2	0,083	0,071	-0,012	0			
3	2	1	0,083			0,071	0,083	-0,012	
4	2	2	0,083	0,143	0,06	0,071			
5	3	1	0,167			0,143	0,167	-0,024	
6	5	1	0,25			0,143	0,25	-0,107	
7	6	2	0,333	0,214	-0,119	0,143			
8	7	1	0,333			0,214	0,333	-0,119	
9	7	2	0,333	0,286	-0,047	0,214			
10	11	2	0,417	0,357	-0,06	0,286			
11	13	1	0,417			0,357	0,417	-0,06	
12	14	1	0,5			0,357	0,5	- 0,143	
13	15	1	0,583			0,357	0,583	-0,226	
14	15	2	0,583	0,429	-0,154	0,357			
15	15	2	0,583	0,5	-0,083	0,357			
16	17	1	0,667			0,5	0,667	-0,167	
17	21	2	0,75	0,571	-0,179	0,5			
18	22	1	0,75			0,571	0,75	-0,179	
19	25	2	0,833	0,643	-0,19	0,571			
20	29	2	0,833	0,714	-0,119	0,643			
21	30	2	0,833	0,786	-0,047	0,714			
22	33	2	0,833	0,857	0,024	0,786			
23	44	2	0,833	0,929	0,096	0,857			
24	47	2	0,833	1,0	0,167	0,929			
25	66	1	0,833			1,0	0,833	0,167	
26	97	1	0,917			1,0	0,917	0,083	

Таблица 2
Расчет значения статистики 
№ 
п/п	Элементы выборок x	Номера выборок 	Fm(x)	(r-1)/n	Fm(x) – 
(r-1)/n	Gn(x)	s/m	s/m –
 Gn(x) 	
(1)	(2)	(3)	(4)	(5)	(6)	(7)	(8)	(9)	
1	0	1	0			0	0,083	0,083	
2	1	2	0,083	0	0,083	0			
3	2	1	0,083			0,071	0,167	0,096	
4	2	2	0,083	0,071	0,012	0,071			
5	3	1	0,167			0,143	0,25	0,107	
6	5	1	0,25			0,143	0,333	0,19	
7	6	2	0,333	0,143	0,19	0,143			
8	7	1	0,333			0,214	0,417	0,203	
9	7	2	0,333	0,214	0,119	0,214			
10	11	2	0,417	0,286	0,131	0,286			
11	13	1	0,417			0,357	0,5	0,143	
12	14	1	0,5			0,357	0,583	0,226	
13	15	1	0,583			0,357	0,667	0,31	
14	15	2	0,583	0,357	0,226	0,357			
15	15	2	0,583	0,429	0,154	0,357			
16	17	1	0,667			0,5	0,75	0,25	
17	21	2	0,75	0,5	0,25	0,5			
18	22	1	0,75			0,571	0,833	0,262	
19	25	2	0,833	0,571	0,262	0,571			
20	29	2	0,833	0,643	0,19	0,643			
21	30	2	0,833	0,714	0,119	0,714			
22	33	2	0,833	0,786	0,047	0,786			
23	44	2	0,833	0,857	-0,024	0,857			
24	47	2	0,833	0,929	-0,096	0,929			
25	66	1	0,833			1,0	0,917	-0,083	
26	97	1	0,917			1,0	1,0	0	

	Беря максимум по столбцу (6) табл.1, получаем, что . Таков же максимум и по столбцу (9), как и должно быть в соответствии с приведенным выше равенством. Максимум по столбцу (6) табл.2 равен 0,262, как и максимум по столбцу (9) той же таблицы. По формуле (3) значение двухвыборочной статистики Смирнова 
.
	В табл.6.5а справочника [5] приведены критические значения для двухвыборочной статистики Смирнова, соответствующие обычно используемым уровням значимости (табл.3). Поскольку полученное по статистическим данным значение меньше критического значения для уровня значимости  = 0,1, а потому и для всех остальных рассматриваемых уровней значимости, то нет оснований отклонять гипотезу однородности. Как и при использовании критерия Вилкоксона [39], эффект не обнаружен, нулевую гипотезу абсолютной однородности принимаем. 

Таблица 3
Критические значения и истинные уровни значимости
для двухвыборочной статистики Смирнова (m = 12, n = 14)
Номинальный уровень значимости	10%	5%	2%	1%	
Критическое значение (дробь)	39/84	43/84	47/84	52/84	
Критическое значение (десятичное число)	0,464	0,512	0,559	0,619	
Истинный уровень значимости	8,7	4,4	2,0	0,8	

	Разработаны алгоритмы и программы для ЭВМ, позволяющие рассчитывать точные распределения, процентные точки и достигаемый уровень значимости для двухвыборочной статистики Смирнова , разработаны подробные таблицы (см., например, разработанную под нашим руководством методику [28], содержащую описание алгоритмов, тексты программ и подробные таблицы).
	Однако у критерия Смирнова есть и недостатки. Его распределение сосредоточено в сравнительно небольшом числе точек. Ясно, что принимаемые этой статистикой значения пропорциональны величине 1/L, где L – наименьшее общее кратное объемов выборок m и n. Поэтому функция распределения растет большими скачками. Для рассматриваемого примера L – наименьшее общее кратное 12 и 14, т.е. 84. Следовательно, принимаемые статистикой Смирнова  входят в арифметическую прогрессию с шагом 1/84 = 0,012. Именно поэтому критические значения в сборнике [5] приведены в виде дроби с знаменателем L = 84. 
	Кроме того, не удается выдержать заданный уровень значимости. Реальный (другими словами, истинный) уровень значимости может значительно, даже в несколько раз отличаться от номинального (подробному обсуждению неклассического феномена существенного отличия реального уровня значимости от номинального посвящена работа [20]).
	При больших объемах выборок можно воспользоваться доказанной Н.В. Смирновым в 1939 г. теоремой: в случае совпадения непрерывных функций распределения элементов двух независимых выборок
,
где K(y) – функция распределения Колмогорова, заданная формулой 
.
	Поскольку согласно [5] квантиль порядка 0,9 функции распределения Колмогорова равна 1,224, то критическое значение двухвыборочной статистики Смирнова , соответствующее уровню значимости 10%, при больших объемах выборок имеет вид 
.
При m=12, n=14 эта формула дает 0,4815, в то время как точное значение равно 0,464 (см. табл.3). Видим, что приближение удовлетворительное, т.е. рассматриваемые объемы выборок (более 10 элементов) можно считать большими. Для построения правил принятия решений на основе значений двухвыборочной статистики Смирнова, соответствующих другим уровням значимости, можно воспользоваться небольшой табл.4 квантилей функции распределения Колмогорова, взятой из справочника [5].

Таблица 4
Квантили функции распределения Колмогорова
Величина a	0,8	0,9	0,95	0,98	0,99	
Квантиль порядка a	1,07275	1,22385	1,35810	1,51743	1,62762	

	Критерий типа омега-квадрат (Лемана-Розенблатта). Статистика критерия типа омега-квадрат для проверки однородности двух независимых выборок имеет вид:
A = Fm(x) – Gn(x))2 dHm+n(x) ,
где Hm+n(x) – эмпирическая функция распределения, построенная по объединенной выборке. Легко видеть, что
Hm+n(x) = Fm(x) + Gn(x).
	Статистика A типа омега-квадрат была предложена Э. Леманом в 1951 г., изучена М. Розенблаттом в 1952 г., а затем и другими исследователями. Она зависит лишь от рангов элементов двух выборок в объединенной выборке. Пусть - первая выборка, - соответствующий вариационный ряд,  - вторая выборка, - вариационный ряд, соответствующий второй выборке. Поскольку функции распределения независимых выборок непрерывны, то с вероятностью 1 все выборочные значения различны, совпадения отсутствуют. Статистика А представляется в виде (см., например, [5]):

где ri - ранг x'i и sj  - ранг y'j  в общем вариационном ряду, построенном по объединенной выборке. 
	Расчет значения статистики А типа омега-квадрат (статистики Лемана-Розенблатта) по тем же данным, по которым были найдены значения статистик критериев Вилкоксона и Смирнова, представлен в разработанной нами табл.5. Суммируя значения в столбце (6), получаем, что 
.
Аналогично получаем с помощью столбца (9), что
.
Следовательно,

Таблица 5
Расчет значения статистики А Лемана-Розенблатта
№ 
п/п	Элементы выборок x	Номера выборок 	i	ri - i	(ri - i)2	j	sj-j	(sj-j)2 	
(1)	(2)	(3)	(4)	(5)	(6)	(7)	(8)	(9)	
1	0	1	1	0	0				
2	1	2				1	1	1	
3	2	1	2	1	1				
4	2	2				2	2	4	
5	3	1	3	2	4				
6	5	1	4	2	4				
7	6	2				3	4	16	
8	7	1	5	3	9				
9	7	2				4	5	25	
10	11	2				5	5	25	
11	13	1	6	5	25				
12	14	1	7	5	25				
13	15	1	8	5	25				
14	15	2				6	8	64	
15	15	2				7	8	64	
16	17	1	9	7	49				
17	21	2				8	9	81	
18	22	1	10	8	64				
19	25	2				9	10	100	
20	29	2				10	100	100	
21	30	2				11	10	100	
22	33	2				12	10	100	
23	44	2				13	10	100	
24	47	2				14	10	100	
25	66	1	11	14	196				
26	97	1	12	14	196				

	Известно [68], что 

(в обозначениях [5]), где a1(x) – предельная функция распределения классической статистики омега-квадрат (Крамера-Мизеса-Смирнова), используемой для проверки согласия эмпирического распределения с заданным теоретическим.
	Квантили функции распределения a1(x) приведены в табл.6. Известно [5, 68], что в случае статистики Лемана-Розенблатта предельным распределением можно пользоваться и для выборок умеренного объема (5 и 7, 6 и 7, 7 и 7,8 и 8 и т.д.). Поскольку наблюдаемое значение А = 0,1621 меньше любого критического значения в табл.6, то гипотезу однородности двух рассматриваемых выборок следует принять.

Таблица 6
Квантили предельной функции распределения статистики омега-квадрат (Крамера-Мизеса-Смирнова)
Величина a	0,8	0,9	0,95	0,98	0,99	
Квантиль порядка a	0,245	0,347	0,461	0,620	0,743	

	Рекомендации по выбору критерия однородности. Для критерия типа омега-квадрат (Лемана-Розенблатта) нет выраженного эффекта различия между номинальными и реальными уровнями значимости. Поэтому мы рекомендуем для проверки абсолютной однородности функций распределения (гипотеза H0) применять статистику А типа омега-квадрат. Если методическое, табличное или программное обеспечение для статистики Лемана - Розенблатта отсутствует, рекомендуем использовать критерий Смирнова. 

4.5 Отечественные достижения: теория устойчивости 
и нечисловая статистика

	Двадцать лет назад А.И. Орлов оценил число публикаций по статистическим методам (включая теорию вероятностей и математическую статистику) в 1 миллион, число актуальных из них (не перекрывающихся более поздними) – в 100 тысяч. Один человек может за свою жизнь познакомиться с несколькими тысячами статей и книг ( в известном трехтомнике Кендалла и Стьюарта – около 2 тысяч ссылок). Отсюда следствие – специалист знаком лишь с 2-3% публикаций по своей области. За прошедшие годы ситуация лишь ухудшилась. Забрезжила надежда на информационные технологии, на поиск в Интернете. Однако основная масса публикаций еще не внесена в Интернет, да и нелегко адекватно сформулировать запрос. Нелегко и отделить жемчужные зерна от сора. 
	Когда-то считалось, что нет пользы от повторов. То, что однажды опубликовано, известно профессионалам. Из сказанного выше ясно, что это – утопия. Как следствие, полезно обращаться к важным идеям, выдвинутым давно, но актуальным и сегодня. 
	Дискуссия на 10-м ежегодном междисциплинарном семинаре «Математическое моделирование социальных процессов и социальная информатика» 5 декабря 2007 г. в МГУ им. М.В. Ломоносова подтвердила, что две идеи тридцатилетней давности и сейчас весьма актуальны. Это проблемы устойчивости и анализа нечисловых (качественных) данных.
	В монографии [74] 1979 г. развит наиболее общий подход к изучению устойчивости в математических моделях социально-экономических явлений и процессов по отношению к отклонениям исходных данных и предпосылок модели. Рассмотрим несколько примеров.
	В теории измерений «задача анализа устойчивости» может интерпретироваться как задача поиска способов обработки данных, инвариантных относительно допустимых преобразований шкалы. А «задача анализа адекватности» – как задача описания шкалы (группы допустимых преобразований), в которой рассматриваемый алгоритм дает инвариантные результаты (т.е. результаты его применения не меняются при любом допустимом преобразовании). Аналогичны интерпретации этих двух задач в теории робастности статистических процедур. 
	Обратим внимание на еще одно использование соображений устойчивости, которое в [74] названо «принципом уравнивания погрешностей». Пусть имеются погрешности двух разных типов. Погрешности первого типа имеют определенные характеристики, которыми нельзя управлять. Погрешностями второго типа можно управлять, расходуя ресурсы. Например, при анализе статистических данных первая группа – это метрологические погрешности (характеристики заданы в технических паспортах средств измерения), вторая группа – статистические погрешности (можно уменьшать, увеличивая объем выборки). «Принцип уравнивания погрешностей» состоит в том, чтобы уравнять погрешности этих двух типов. Проработан ряд применений принципа уравнивания погрешностей. В статистике интервальных данных он приводит к одному из двух фундаментальных понятий – рациональному объему выборки [68]. В теории управления запасами – к обоснованию того, что допустимо применять любую из двух разных методик расчета величин издержек, связанных с хранением и доставкой продукции [74, 73]. В социологии – к выбору числа градаций шкалы на основе оценки размытости ответа респондента [74].
	Наиболее общая рекомендация теории устойчивости -  обрабатывать данные многими способами и выделять как объективный результат то, что получено при всех способах. Цель – уменьшить влияние субъективизма, проявляющегося в выборе метода. Например, итоговое мнение комиссии экспертов целесообразно находить как методом средних арифметических рангов, так и методов медиан рангов, а потом выделять «общую часть» с помощью процедуры согласования [68].
	Статистика объектов нечисловой природы (статистика нечисловых данных, нечисловая статистика) как самостоятельное направление внутри прикладной статистики была выделена в 1979 г. [74]. Полученные с тех пор результаты опубликованы широко, в частности, подробно отражены в учебниках [68, 60]. Применительно к социологии подробный анализ дан в [71]. Тем не менее любители обсудить соотношение количественных и качественных методов в социологии явно не знакомы с рассматриваемой областью статистики с тридцатилетней историей. 
	В целом приходится констатировать, что специалисты по методам обработки социологических данных отстали лет на 30 от современной статистической науки. Только этим можно объяснить радость от освоения столь же отсталого пакета SPSS (оценка соответствия этого и других пакетов современным требованиям дана в [72]).

Заключение

	В отчете приведены основные результаты теоретических исследований в области разработки методологии процессов управления жизненным циклом сложных технических объектов на основе экономико-математических методов. Работа нацелена на создание методологии разработки новых организационно-экономических (прежде всего экономико-математических, в том числе эконометрических) методов и моделей, предназначенных для использования различными функциональными службами и подразделениями промышленных предприятий. Научно-исследовательская работа выполнена в 2010 г. сотрудниками научно-учебного комплекса НУК «Инженерный бизнес и менеджмент» Московского государственного технического университета им. Н.Э.Баумана. 
	Разработана методология организационно-экономического обеспечения решения задач управления производственными  системами. Получено дальнейшее развитие неформальной информационной экономики будущего применительно к процессам управления жизненным циклом сложных технических объектов и крупномасштабных систем. Выявлена методологическая роль теории графов при моделировании процессов управления жизненным циклом сложных технических объектов и систем управления промышленными предприятиями, в частности, при оптимизации на графах, в экспертных технологиях. Разработана методология непараметрического подхода к математическим методам исследования и ряд новых непараметрических статистических методов анализа данных. В частности, для непараметрического метода наименьших квадратов с периодической составляющей найдены условия применимости, разработаны методология и методы использовании непараметрических статистических критериев для оценки точности методов классификации, предложены практические методики применения состоятельных критериев Смирнова и Лемана-Розенблатта проверки абсолютной однородности двух независимых выборок. В качестве важных достижений отечественной научной школы в области организационно-экономического моделирования выделены теория устойчивости и нечисловая статистика.
	Получены фундаментальные результаты, разработаны теоретические основы новых организационно-экономические методов и моделей, предназначенных для повышения эффективности процессов управления промышленными предприятиями и их объединениями. Предполагаемое использование результатов НИР - на промышленных предприятиях в деятельности различных функциональных служб и подразделений, в вузах  и научно-исследовательских и опытно-конструкторских организациях. Кроме того, результаты НИР предполагается использовать при подготовке учебников, учебных пособий и иных учебно-методических материалов, при чтении лекций и проведении практических занятий в соответствии с государственным образовательным стандартом и учебным планом по специальности «Менеджмент высоких технологий», а также по другим специальностям в рамках образовательных структур НУК ИБМ, включая второе образование и Бизнес-школу МГТУ им. Н.Э. Баумана. В частности, результаты НИР будут использованы при дальнейшей разработке курсов по дисциплинам дневного отделения НУК ИБМ «Организационно-экономическое моделирование», «Прикладная статистика», «Эконометрика», разделов курсов специализации.
	Поставленная во введении цель работы достигнута, сформулированные в техническом задании на проведение научно-исследовательской работы задачи решены. 
	Научно-прикладные исследования по тематике отчета целесообразно продолжать и развивать, а также расширять преподавание соответствующих курсов, в том числе при обучении студентов инженерных специальностей на различных факультетах МГТУ им. Н.Э.Баумана. 

Список использованных источников

1. Агапова И.И. История экономической мысли. - М.: ЭКМОС, 1998. - 248 с. http://enbv.narod.ru/text/Econom/agapova_iem/str/p01.html .
2. Анализ нечисловой информации в социологических исследованиях. - М.: Наука, 1985. - 222 с.
3. Бир Ст. Кибернетика и управление производством. – М.: Наука, 1965. – 391 с.
4. Бир Ст. Мозг фирмы. – М.: Радио и связь, 1993. – 416 с.  
5. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. – М.: Наука, 1983. - 416 с.
6. Бородкин А.А., Толчеев В.О. Об оценке точностных и временных характеристик методов классификации библиографических текстовых документов / Научная сессия МИФИ 2008. Том 11. М. МИФИ, 2008. - С.152-153.
7. Бром А.Е., Колобов А.А., Омельченко И.Н. Методология, методы и модели организационно-логистической системы управления жизненным циклом наукоемкой продукции. – М.: Изд-во МГТУ им. Н.Э. Баумана, 2008. - 280 с.
8. Бугера В. Е. Собственность и управление. — М.: Наука, 2003. - 197 с.
9. Бурков В.Н., Заложнев А.Ю., Новиков Д.А. Теория графов в управлении организационными системами. ‑ М.: Синтег, 2001. –  124 с. 
10. Бурков В.Н., Новиков Д.А. Теория активных систем: состояние и перспективы. – М.: Синтег, 1999. - 128 с.
11. Бэкон Ф. Сочинения в двух томах. Том. 2. – М.: Мысль, 1972. - 582 с. 
12. Гельфанд И.М., Розенфельд Б.И., Шифрин М.А. Очерки о совместной работе математиков и врачей (2-е, дополненное издание). - М. УРСС, 2004. – 320 с.
13. Глушков В.М. Макроэкономические модели и принципы построения ОГАС. - М.: Статистика, 1975. - 160 с.
14. Горский В.Г., Гриценко А.А., Орлов А.И. Метод согласования кластеризованных ранжировок // Автоматика и телемеханика. ‑ 2000. ‑ №3. ‑ С. 179‑187.
15. Губко М.В. Математические модели оптимизации иерархических структур. – М.: ЛЕНАНД, 2006. –  264 с. 
16. Друкер П.Ф. Новые реальности в правительстве и политике, в экономике и бизнесе, в обществе и мировоззрении: Пер. с англ.— М.: Бук Чембэр Интернэшнл, 1994. - 380 с.
17. Дуда Р., Харт П. Распознавание образов и анализ сцен. - М.: Мир, 1976. – 511 с.
18. Ефремов И.А. Туманность Андромеды. – М.: Эксмо, 2009. - 768 с.
19. Калашников М., Бощенко И. Будущее человечество. – М.: АСТ: Астрель, 2007. -  318 с.
20. Камень Ю.Э., Камень Я.Э., Орлов А.И. Реальные и номинальные уровни значимости в задачах проверки статистических гипотез // Заводская лаборатория. 1986. Т.52. № 12. С.55-57.
21. Карминский А.М., Оленев Н.И., Примак А.Г., Фалько С.Г. Контроллинг в бизнесе. Методологические и практические основы построения контроллинга в организациях. ‑ М.: Финансы и статистика, 1998. ‑  256 с.
22. Кемени Дж., Снелл Дж. Кибернетическое моделирование: Некоторые приложения. ‑ М.: Советское радио,1972. ‑  192 с. 
23. Колобов А.А., Омельченко И.Н., Орлов А.И. Менеджмент высоких технологий. Интегрированные производственно-корпоративные структуры: организация, экономика, управление, проектирование, эффективность, устойчивость. – М.: Экзамен, 2008. - 621 с. 
24. Контроллинг / А.М. Карминский, С.Г. Фалько, А.А. Жевага, Н.Ю. Иванова; под ред. А.М. Карминского, С.Г. Фалько. – М.: Финансы и статистика, 2006. - 336 с.
25. Кочетов В.В., Колобов А.А., Омельченко И.Н. Инженерная экономика / Под ред. А.А. Колобова, А.И. Орлова. - М.: Изд-во МГТУ им. Н.Э.Баумана, 2005. - 668 с.
26. Кропоткин П.А. Взаимная помощь среди животных и людей как двигатель прогресса / Пер. с англ. В.П. Батуринского под ред. автора. М.: Голос труда, 1922 г. XIII, 342 с. http://oldcancer.narod.ru/anarchism/PAK-Mutaid.htm 
27. Литвак Б.Г. Экспертная информация: методы получения и анализа. ‑ М.: Радио и связь, 1982. –  184 с.
28. Методика. Проверка однородности двух выборок параметров продукции при оценке ее технического уровня и качества. – М.: ВНИИ стандартизации, 1987. – 116 с.
29. Муравьева В.С., Орлов А.И. Организационно-экономические проблемы прогнозирования на промышленном предприятии / Управление большими системами. Вып. 17. М.: ИПУ РАН, 2007. С.143-158.
30. Налимов В.В., Мульченко А.Б. Наукометрия. Изучение развития науки как информационного процесса. - М.: Наука, 1969. - 192 с.
31. Научные школы Московского государственного технического университета имени Н.Э. Баумана. История развития / Под ред. И.Б. Федорова, К.С. Колесникова.  2-е изд., доп. – М.: Изд-во МГТУ им. Н.Э. Баумана, 2005. - 464 с. 
32. Никитин Я.Ю. Асимптотическая эффективность непараметрических критериев. - М.: Наука, 1995. - 240 с.
33. Новиков А.М., Новиков Д.А. Методология. – М.: СИНТЕГ, 2007. – 668 с.
34. Новиков Д.А. Теория управления организационными системами. – М.: МПСИ, 2005. - 584 с.
35. Новиков Д.А., Орлов А.И. Математические методы исследования – инструменты аналитика // Заводская лаборатория. Диагностика материалов. 2010. Т.76. №4. С.3-3.
36. Орлов А.И. Высокие статистические технологии // Заводская лаборатория. - 2003. - Т.69. - №11. - С.55-60.
37. Орлов А.И. Графы при моделировании процессов управления промышленными предприятиями / Управление большими системами. Специальный выпуск 30.1 «Сетевые модели в управлении». М.: ИПУ РАН, 2010. С.62-75.
38. Орлов А.И. Инновационная деятельность: организационно-экономическое обеспечение и Интернет-аукционы / Проблемы информационной экономики. Выпуск VII. Стратегия инновационного развития российской экономики: Сб. научных трудов / Под ред. Р.М. Нижегородцева. - М.: Книжный дом «ЛИБРОКОМ», 2008. С.325-345.
39. Орлов А.И. Какие гипотезы можно проверять с помощью двухвыборочного критерия Вилкоксона? //Заводская лаборатория. 1999. Т.65. № 1. С.51-55.
40. Орлов А.И. Люсиан // Вероятность и математическая статистика: энциклопедия [под ред. Ю. В. Прохорова]. – М.: Большая Российская Энциклопедия, 1999. ‑ С. 293.
41. Орлов А.И. Менеджмент: организационно-экономическое моделирование. – Ростов н/Д: Феникс, 2009. - 475 с.
42. Орлов А.И. Метод оценивания длины периода и периодической составляющей сигнала // Статистические методы оценивания и проверки гипотез: межвуз. сб. науч. тр. Вып. XIII. – Пермь: Перм. ун-т, 1999. - С.38-49.
43. Орлов А.И. Методологические ошибки ведут к неправильным управленческим решениям // Управление большими системами. Выпуск 27. М.: ИПУ РАН, 2009. С.59-65.
44. Орлов А.И. Методы проверки однородности связанных выборок // Заводская лаборатория. Диагностика материалов. 2004. Т.70. №7. С.57-61. 
45. Орлов А.И. Некоторые вероятностные вопросы теории классификации / Прикладная статистика. Ученые записки по статистике, т.45. - М.: Наука, 1983. – С.166-179.
46. Орлов А.И. Непараметрический метод наименьших квадратов с периодической составляющей: условия применимости. В сб.: Статистические методы оценивания и проверки гипотез: межвуз. сб. науч. тр. Вып. XXII. – Пермь: Перм. ун-т, 2010. – С.92-104.
47. Орлов А.И. Непараметрический метод наименьших квадратов: учет сезонности // Статистические методы оценивания и проверки гипотез: межвуз. сб. науч. тр. Вып. XXI. – Пермь: Перм. ун-т, 2008. – С.135-148.
48. Орлов А.И. Неформальная информационная экономика будущего // Неформальные институты в современной экономике России: Материалы Третьих Друкеровских чтений. - М.: Доброе слово:  ИПУ РАН, 2007 г. С.72-87.
49. Орлов А.И. Неформальная информационная экономика будущего - базовая организационно-экономическая теория // Управление развитием крупномасштабных систем (MLSD'2008). Материалы Второй международной конференции. Том 1. - М.: ИПУ РАН, 2008. - С.72 - 74. 
50. Орлов А.И. Неформальная информационная экономика будущего – базовая организационно-экономическая теория // Вестник Южно-Российского государственного технического университета (Новочеркасского политехнического института). Серия «Социально-экономические науки». 2010. № 2. С.55-67. 
51. Орлов А.И. О некоторых математических задачах, возникающих при обработке медицинских данных // Статистика. Вероятность. Экономика. / Ученые записки по статистике, т.49.- М.: Наука, 1985. -С.323-326.
52. Орлов А.И. О проверке однородности двух независимых выборок // Заводская лаборатория. 2003. Т.69. №1. С.55-60.
53. Орлов А.И. О развитии математических методов теории классификации // Заводская лаборатория. Диагностика материалов. 2009. Т.75. №7. С.51-63.
54. Орлов А.И. О развитии методологии статистических методов // Статистические методы оценивания и проверки гипотез: межвуз. сб. науч. тр. Вып. XV. – Пермь: Перм. ун-т, 2001. – С.118-131.
55. Орлов А.И. О развитии неформальной информационной экономики будущего - базовой организационно-экономической теории. - Стратегическое планирование и развитие предприятий. Секция 1 / Материалы Одиннадцатого всероссийского симпозиума. Москва, 13-14 апреля 2010 г. Под ред. чл.-корр. РАН Г.Б. Клейнера. - М.: ЦЭМИ РАН, 2009. - С.168-170.
56. Орлов А.И. О развитии экспертных технологий в нашей стране // Заводская лаборатория. 2010. Т.76. №11. 
57. Орлов А.И. Организационно-экономические методы и модели и их применение в социологических исследованиях // Математическое моделирование социальных процессов. Вып.10 : сб. ст. / Под ред. А.П. Михайлова. – М.: КДУ ‑ 2009. – С. 248–263.
58. Орлов А.И. Организационно-экономическое моделирование инновационных процессов / Управление инновациями - 2006. Материалы международной научно-практической конференции. - М.: Доброе слово, 2006. С.41-44.
59. Орлов А.И. Организационно-экономическое моделирование: теория принятия решений : учебник. — М. : КноРус, 2011. — 568 с.
60. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009. – 541 с.
61. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Ч.2. Экспертные оценки. – М.: Изд-во МГТУ им. Н.Э. Баумана, 2010. - 432 с.
63. Орлов А.И. Организационно-экономическое обеспечение инновационной деятельности / Инновационное развитие экономики: теория и практика: Материалы международной научно-практической конференции. - Ярославль: ЯрГУ, 2005. С.181-184.
64. Орлов А.И. Организационно-экономическое обеспечение решения задач управления развитием крупномасштабных  систем// Управление развитием крупномасштабных систем (MLSD'2010): Материалы Четвертой международной конференции (4-6 октября 2010, г. Москва, Россия) Том 1. М.: Учреждение Российской академии наук Институт проблем управления им. В.А.Трапезникова РАН, 2010. – С.346-349.
65. Орлов А.И. Основные идеи неформальной информационной экономики будущего // ЭТАП: Экономическая Теория, Анализ, Практика. 2010. № 1. С.89-105.
66. Орлов А.И. Основные идеи неформальной информационной экономики будущего – новой организационно-экономической теории // Четвертая международная конференция по проблемам управления: Сборник трудов. − М.: ИПУ РАН, 2009. - C.672 - 686.
67. Орлов А.И. Отечественные достижения: теория устойчивости и нечисловая статистика. - Материалы IV конференции «Современные проблемы формирования методного арсенала социолога» (Москва, 16 февраля 2010 г.). – М.: Институт социологии РАН, 2010. CD диск ISBN 978-5-89697-181-8 http://www.ssa-rss.ru/index.php?page_id=259 
68. Орлов А.И. Прикладная статистика. – М.: Экзамен, 2006. – 671 с.
69. Орлов А.И. Подходы неформальной информационной экономики будущего к управлению развитием крупномасштабных систем // Управление развитием крупномасштабных систем (MLSD'2010): Материалы Четвертой международной конференции (4-6 октября 2010, г. Москва, Россия) Том 1. М.: Учреждение Российской академии наук Институт проблем управления им. В.А.Трапезникова РАН, 2010. – С.186-188.
70. Орлов А.И. Разработка и развитие устойчивых экономико-математических методов и моделей для модернизации управления предприятиями. Автореф. дисс. … докт. экон. наук; 13.10.09 / Московский государственный технологический университет «Станкин». - М., 2009. - 32 с.
71. Орлов А.И. Статистические методы в российской социологии (тридцать лет спустя) // Социология: методология,  методы, математические модели. 2005. №20. С.32-53.
72. Орлов А.И. Статистические пакеты – инструменты исследователя // Заводская лаборатория. 2008. Т.74. №5. С.76-78. 
73. Орлов А.И. Теория принятия решений. – М.: Экзамен, 2006. – 574 с.
74. Орлов А.И. Устойчивость в социально-экономических моделях. – М.: Наука, 1979. - 296 с.
75. Орлов А.И. Устойчивые математические методы и модели // Заводская лаборатория. 2010. Т.76. № 3. С.59-67.
76. Орлов А.И. Эконометрика. Изд. 4-е, дополн. и перераб. – Ростов н/Д: Феникс, 2009. - 572 с.
77. Орлов А.И. Эконометрическая поддержка контроллинга // Контроллинг. ‑ 2002. ‑ №1. ‑ С. 42‑53.
78. Орлов А.И., Куликова С.Ю., Муравьева В.С. Организационно-экономическое моделирование в контроллинге // Контроллинг. ‑ 2009. ‑ №5(33). ‑ С. 42‑47.
79. Орлов А.И., Орлова Л.А. Социально-экологические аспекты управления в современной экономике // Проблема человеческого капитала: теория и современная практика: Материалы Вторых Друкеровских чтений / Под ред. Р.М. Нижегородцева. – М.: Доброе слово, 2007. – С.176 - 191.
80. Отоцкий Л. Стаффорд Бир и перспективы IT // Компьютерра. № 36. 14 октября 2003 г. (http://offline.computerra.ru/2003/511/29598/)
81. Практикум по эконометрике: Учеб. пособие / И.И. Елисеева, С.В. Курышева, Н.М. Гордеенко и др.; Под ред. И.И. Елисеевой. – М.: Финансы и статистика. 2001. – 192 с. 
82. Проектирование интегрированных производственно- корпоративных структур: эффективность, организация, управление / С.Н.Анисимов, А.А.Колобов, И.Н.Омельченко, А.И.Орлов, А.М. Иванилова, С.В. Краснов; Под ред. А.А. Колобова, А.И. Орлова.  – М.: Изд-во МГТУ им. Н.Э. Баумана, 2006. - 728 с.
83. Сталин И.В. Сочинения. Т. 16. – М.: Писатель, 1997 г. С.154–223.
84. Стиглиц Дж. Экономисты виноваты в кризисе, но есть шанс исправить дело // Газета «Ведомости. Аналитика». 20.08.2010.
85. Сэлтон Г. Автоматическая обработка, хранение и поиск информации. - М: Советское радио, 1973. – 560 с.
86. Толчеев В.О. Модифицированный и обобщенный метод ближайшего соседа для классификации библиографических текстовых документов // Заводская лаборатория. Диагностика материалов. 2009. Т.75. №7. С.63 - 70.
87. Фалько С.Г. Контроллинг для руководителей и специалистов. - М.: Финансы и статистика, 2008. - 272 с.
88. Фалько С.Г. Эволюция концепций управления предприятиями промышленности. – М.: ЦЭМИ РАН, 2007. - 50 с. 
89. Фалько С.Г. Экономика и организация производства: к 80-летнему юбилею кафедры ИБМ-2 МГТУ им. Н.Э. Баумана. – М.: Изд-во МГТУ им. Н.Э. Баумана, 2009. - 288 с.
90. Фалько С.Г., Иванова Н.Ю. Управление нововведениями на высокотехнологичных предприятиях. – М.: Изд-во МГТУ им. Н.Э. Баумана, 2007. - 256 с.
91. Форд Г. Моя жизнь. Мои достижения. – М.: Попурри, 2009. - 352 с.
92. Хан Д. Планирование и контроль: концепция контроллинга: Пер. с нем. ‑ М.: Финансы и статистика, 1997. ‑  800 с.
93. Хеттманспергер Т. Статистические выводы, основанные на рангах. - М.: Финансы и статистика, 1987. - 334 с.
94. Холлендер М., Вульф Д. Непараметрические методы статистики. - М.: Финансы и статистика, 1983. –  518 с.
95. Dietterich T.G. / Neural Computation, 10, 1998, pp. 1895-1924.
96. Schmidt F.L. / Psychological Methods. 1, 1996, pp. 115-129.
97. Shaffer J.P. / Annual Review of Psychology, 46, 1995, 561-584

Интернет-источники

98. Герасимов И. Интернет, Open Source и Открытое сетевое общество http://forum.orlovs.pp.ru/viewtopic.php?t=523
99. Кокшотт П. Расчёт в натуральной форме: от Нейрата до Канторовича http://left.ru/2009/6/cockshott188.phtml  
100. Кокшотт В.П., Коттрелл А.Ф. Информация и экономика: критика Хайека http://ricardo.ecn.wfu.edu/~cottrell/socialism_book/hayek_critique.pdf 
101. Международный союз математиков предостерегает от неправильного использования статистики цитирований // Полит.ру. 16 июня 2008. http://www.polit.ru/science/2008/06/16/mathunion.html 
102. Adler R., Ewing J. (Chair), Taylor P. Citation Statistics. A report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS) Corrected version, 6/12/08. http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf 
103. Reuters 21578 Text Categorization Collection Data Set 
http://archive.ics.uci.edu/datasets/Reuters-21578+Text+Categorization+Collection.
104. http://romip.narod.ru 
105. http://trec.nist.gov
106. UCI (University of California at Irving) Machine Learning Repository 
     (http://www.ics.uci.edu/~mlearn/MLRepository.html).